ComfyUI-IF_AI_tools插件介绍

ComfyUI-IF_AI_tools 是一套为 ComfyUI 设计的自定义节点，它允许用户通过 Ollama 使用本地大型语言模型（LLM）生成提示。这个工具通过利用语言模型的力量，增强了用户的图像生成工作流程。以下是 ComfyUI-IF_AI_tools 的主要特点和使用方法：

主要特点：

• 本地LLM生成提示：通过 Ollama 使用本地的大型语言模型生成图像生成提示。
• 集成WhisperSpeech：能够从文本生成长篇音频，并在10分钟的音频文件上实时训练声音。
• ParlerTTS：提供文本到语音的转换功能。
• DreamTalk：在 ComfyUI 中生成会说话的头像。
• Json Presets：使用 OpenAI 和 Claude 3 分析图像，并使用 Haiku vision 模型。
• 图像到提示节点：生成 SD 提示或对图像提出问题。
• 保存生成的文本：集成到 ComfyUI 中，实现无缝工作流程。

安装和使用：

• 安装Ollama：需要安装 Ollama 才能使用 ComfyUI-IF_AI_tools。可以在 ollama.com 获取更多信息。
• 设置环境变量：可选地设置环境变量，如 "ANTHROPIC_API_KEY"、"OPENAI_API_KEY" 和 "GROQ_API_KEY"，以便工具能够识别这些 API 密钥。
• 安装模型：在终端中运行命令安装模型，例如 ollama run brxce/stable-diffusion-prompt-generator。
• 克隆仓库：在 ComfyUI 的 custom_nodes 文件夹中克隆仓库，使用命令 git clone https://github.com/if-ai/ComfyUI-IF_AI_tools.git。
• 安装依赖：在 ComfyUI 的 custom_nodes 文件夹中运行 python -m pip install -r requirements.txt 来安装依赖。
• 加载工作流程：在 ComfyUI 中加载位于 custom_nodes/ComfyUI-IF_AI_tools/workflows 文件夹中的自定义工作流程。
• 运行队列：运行队列以生成图像。

推荐模型：

• Proteus-RunDiffusion
• nous-hermes2pro
• llava:7b-v1.6-mistral-q5_K_M

支持：

• 如果您觉得这个工具有用，请考虑通过以下方式支持作者的工作：
  • 在 GitHub 上给 ComfyUI-IF_AI_tools 仓库加星。
  • 订阅作者的 YouTube 频道：Impact Frames。
  • 在 Ko-fi 上支持作者：Impact Frames Ko-fi。
  • 成为作者的 Patreon 支持者：Impact Frames Patreon。

相关工具：

• IF_prompt_MKR：适用于 Stable Diffusion WebUI 的类似工具。

示例使用：

• 使用正常模型的示例：ancient Megastructure, small lone figure。这将生成一个描述古代遗迹和孤独小人物的文本提示。

官方介绍：

ComfyUI-IF_AI_tools 是一个为 ComfyUI 设计的自定义节点集合，它允许用户通过 Ollama 使用本地大型语言模型（LLM）生成提示。这个工具通过利用语言模型的力量，增强了图像生成工作流程。

该工具的特点包括：

• 新增了 Oobabooga TextgenWebui 的端口 5000 和 LMstudio 的端口 1234。
• 发布了新的 LLama3 和 Phi3 IF_AI Prompt mkr 模型。
• 支持通过 Ollama 运行特定的模型，如 ollama run impactframes/llama3_ifai_sd_prompt_mkr_q4km:latest 和 ollama run impactframes/ifai_promptmkr_dolphin_phi3:latest。
• 提供了 WhisperSpeech 集成，可以从文本生成长音频，并从10分钟的音频文件中实时训练语音。
• ParlerTTS 和 DreamTalk 节点可用于生成说话的头像。
• 支持使用 OpenAI 和 Claude 3 分析图像，并使用 Haiku 视觉模型。
• 允许用户使用本地 LLM 通过 Ollama 生成 SD 提示或询问有关图像的问题。
• 集成到 ComfyUI 中，以实现无缝工作流程。

安装步骤包括：

• 安装 Ollama，按照其 GitHub 页面上的指示在 Windows 上进行。
• 通过 ComfyUI 管理器安装节点。
• 在终端中运行命令以安装模型。
• 克隆 ComfyUI-IF_AI_tools 仓库到 ComfyUI 自定义节点文件夹。
• 在 ComfyUI 便携版本中运行嵌入式安装脚本或在自定义环境中激活环境并安装依赖项。

使用方法：

• 启动 ComfyUI。
• 加载位于 ComfyUI-IF_AI_tools\workflows 文件夹中的自定义工作流。
• 运行队列以生成图像。

推荐模型包括：

• Proteus-RunDiffusion
• nous-hermes2pro
• llava:7b-v1.6-mistral-q5_K_M

支持信息：

• 如果您觉得这个工具有用，请考虑通过在 GitHub 上为 ComfyUI-IF_AI_tools 仓库点赞、订阅 YouTube 频道 Impact Frames、在 Ko-fi 上支持 Impact Frames 或成为 Patreon 上的 Impact Frames 的赞助者来支持我的工作。

相关工具：

• IF_prompt_MKR - 一个适用于 Stable Diffusion WebUI 的类似工具。
• AIFuzz 和 Future thinker @ Benji 制作了使用 Ollama 和 IF_AI 工具的精彩视频。

示例用法：

• 描述一个古老的巨型结构和一个小巧的身影，使用正常模型生成的文本。

这个工具的目的是通过集成大型语言模型来增强图像生成工具 ComfyUI 的功能，使得用户能够更有效地生成和编辑图像。