工作流概览
本工作流旨在利用 ControlNet、IPAdapter 和 LoRA 等先进技术，实现图像风格的转移与重绘。它能基于输入的图像和提示词，生成具有特定风格的新图像，同时尽可能保留原始图像的结构和内容。其核心在于运用多个 ControlNet 模型和 IPAdapter，对生成图像的风格与内容进行精细化控制。
核心模型
本工作流依赖以下核心模型：
- ControlNet：负责控制生成图像的整体结构和内容，支持 OpenPose、深度图 (Depth)、Canny 边缘检测等多种预处理器。
- IPAdapter：用于图像风格迁移，将参考图像的风格特征融入到生成图像中。
- LoRA (Low-Rank Adaptation)：一种低秩适应模型，用于微调生成图像的细节和风格。
- Stable Diffusion：作为图像生成的基础模型，根据提示词和各种条件生成图像。
组件详解
工作流中的关键组件 (节点) 包括：
- LoadImage：加载作为输入和参考的图像。
- ControlNetLoader：加载 ControlNet 模型，支持多种预处理器。
- IPAdapterModelLoader：加载 IPAdapter 模型，用于风格迁移。
- CLIPVisionLoader：加载 CLIP 视觉模型，用于图像的特征编码。
- BrushNetLoader：加载 BrushNet 模型，用于图像重绘。
- ControlNetApplySD3：应用 ControlNet 模型，控制生成图像的结构。
- IPAdapterAdvanced：应用 IPAdapter 模型，实现风格迁移。
- KSampler (Efficient)：高效的采样器，用于生成图像。
- VAEDecode：将潜在空间的图像解码为可见的图像。
- PreviewImage：预览生成的图像。
安装说明：
- 诸如 ControlNet、IPAdapter 和 LoRA 等组件需要通过 ComfyUI Manager 或 GitHub 进行安装。例如：ControlNet 插件：ComfyUI_ControlNetIPAdapter 插件：ComfyUI_IPAdapter_plusLoRA 插件：ComfyUI_Comfyroll_CustomNodes
模型依赖：
- ControlNet 模型 (例如 control_v11p_sd15_openpose、control_v11f1p_sd15_depth) 需要从 Hugging Face 或其他模型仓库下载。
- IPAdapter 模型 (例如 ip-adapter_sd15_plus) 也需要从相应的模型仓库下载。
工作流结构
整个工作流可以分解为以下几个主要部分：
- 图像加载模块：
- LoadImage 节点：负责加载输入和参考图像。输入：图像文件的路径 (例如 image.png)。输出：加载的图像数据，传递给后续节点使用。
- ControlNet 控制模块：
- 由多个 ControlNetLoader 和 ControlNetApplySD3 节点组成，分别加载并应用不同的 ControlNet 模型 (例如 OpenPose、深度图、Canny 边缘)。输入：从 LoadImage 节点传递的图像数据。输出：经过 ControlNet 处理的条件图像。
- 风格迁移模块：
- 包含 IPAdapterModelLoader 和 IPAdapterAdvanced 节点，加载并应用 IPAdapter 模型进行风格迁移。输入：参考图像和生成模型。输出：具有参考图像风格的生成图像。
- 图像生成模块：
- 利用 KSampler (Efficient) 和 VAEDecode 节点，生成并解码图像。输入：经过 ControlNet 和 IPAdapter 处理的条件图像。输出：最终生成的图像。
- 提示词处理模块：
- 使用 CLIPTextEncode 和 SDXLPromptStyler 节点，处理文本提示词并生成条件向量。输入：文本提示词。输出：编码后的条件向量，用于指导图像生成。
输入与输出
- 输入：图像文件路径 (例如 image.png)。文本提示词 (例如 1girl, solo, brown_hair)。用于风格迁移的参考图像。
- 输出：生成的图像，可以保存为 PNG 或 JPG 格式。
注意事项
- 模型下载：务必确保所有使用的模型 (ControlNet、IPAdapter、LoRA 等) 都已正确下载并放置在 ComfyUI 的模型目录中。
- 性能需求：同时运行多个模型 (例如 ControlNet、IPAdapter) 可能会占用大量的 GPU 内存。建议使用至少配备 8GB 显存的 GPU。
- 提示词优化：提示词的质量直接影响生成图像的质量。建议提供尽可能详细的描述。
- 兼容性：确保 ComfyUI 的版本与工作流中的组件兼容。