跳到主要内容
警告

本教程是社区贡献，非 Open WebUI 团队官方支持。它仅作为演示如何根据您的特定用例定制 Open WebUI。想贡献吗？请查看贡献教程。

🎨 图像生成

Open WebUI 通过三种后端支持图像生成：AUTOMATIC1111、ComfyUI 和 OpenAI DALL·E。本指南将帮助您设置和使用其中任何一个选项。

AUTOMATIC1111​

Open WebUI 通过 AUTOMATIC1111 API 支持图像生成。以下是入门步骤：

初始设置​

  1. 确保您已安装 AUTOMATIC1111。

  2. 启动 AUTOMATIC1111 时附加额外的标志以启用 API 访问。

    ./webui.sh --api --listen

  3. 对于已预设环境变量的 WebUI Docker 安装，请使用以下命令：

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e AUTOMATIC1111_BASE_URL=http://host.docker.internal:7860/ -e ENABLE_IMAGE_GENERATION=True -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

使用 AUTOMATIC1111 设置 Open WebUI​

  1. 在 Open WebUI 中，导航到 Admin Panel > Settings > Images 菜单。

  2. 将 Image Generation Engine 字段设置为 Default (Automatic1111)。

  3. 在 API URL 字段中，输入 AUTOMATIC1111 API 可访问的地址。

    http://<your_automatic1111_address>:7860/

    如果您在同一主机上运行 Open WebUI 和 AUTOMATIC1111 的 Docker 安装，请使用 http://host.docker.internal:7860/ 作为您的地址。

ComfyUI​

ComfyUI 提供了一个替代界面，用于管理和交互图像生成模型。请访问其 GitHub 页面了解更多或下载。以下是设置 ComfyUI 与其他工具一起运行的说明。

初始设置​

  1. 从 GitHub 下载并提取 ComfyUI 软件包到您想要的目录。

  2. 要启动 ComfyUI，运行以下命令：

    python main.py

    对于 VRAM 较低的系统，启动 ComfyUI 时附加额外的标志以减少内存使用：

    python main.py --lowvram

  3. 对于已预设环境变量的 WebUI Docker 安装，请使用以下命令：

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e COMFYUI_BASE_URL=http://host.docker.internal:7860/ -e ENABLE_IMAGE_GENERATION=True -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

使用 ComfyUI 设置 Open WebUI​

设置 FLUX.1 模型​

  1. 模型检查点:
  • 从 black-forest-labs HuggingFace 页面下载 FLUX.1-schnell 或 FLUX.1-dev 模型。
  • 将模型检查点放置在 ComfyUI 的 models/checkpoints 和 models/unet 目录中。或者，您可以在 models/checkpoints 和 models/unet 之间创建符号链接，以确保两个目录包含相同的模型检查点。
  1. VAE 模型:
  • 从 此处下载 ae.safetensors VAE 模型。
  • 将其放置在 ComfyUI 的 models/vae 目录中。
  1. CLIP 模型:
  • 从 此处下载 clip_l.safetensors。
  • 将其放置在 ComfyUI 的 models/clip 目录中。
  1. T5XXL 模型:
  • 从 此处下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors 模型。
  • 将其放置在 ComfyUI 的 models/clip 目录中。

要将 ComfyUI 集成到 Open WebUI 中，请按照以下步骤操作：

步骤 1：配置 Open WebUI 设置​

  1. 导航到 Open WebUI 中的 Admin Panel。
  2. 点击 Settings，然后选择 Images 标签页。
  3. 在 Image Generation Engine 字段中，选择 ComfyUI。
  4. 在 API URL 字段中，输入 ComfyUI API 可访问的地址，格式如下：http://<您的 ComfyUI 地址>:8188/。
    • 将环境变量 COMFYUI_BASE_URL 设置为此地址，以确保其在 WebUI 中持久存在。

步骤 2：验证连接并启用图像生成​

  1. 确保 ComfyUI 正在运行，并且您已成功验证与 Open WebUI 的连接。如果连接不成功，您将无法继续。
  2. 连接验证成功后，打开 Image Generation (Experimental) 开关。将显示更多选项。
  3. 继续执行步骤 3 进行最终配置。

步骤 3：配置 ComfyUI 设置并导入工作流​

  1. 在 ComfyUI 中启用开发者模式。为此，请查找 ComfyUI 中 Queue Prompt 按钮上方的齿轮图标，并启用 Dev Mode 开关。
  2. 使用 Save (API Format) 按钮从 ComfyUI 导出所需的 API format 工作流。如果操作正确，文件将下载为 workflow_api.json。
  3. 返回 Open WebUI，点击 Click here to upload a workflow.json file 按钮。
  4. 选择 workflow_api.json 文件，将从 ComfyUI 导出的工作流导入到 Open WebUI 中。
  5. 导入工作流后，您必须根据导入的工作流节点 ID 映射 ComfyUI Workflow Nodes。
  6. 将 Set Default Model 设置为正在使用的模型文件名，例如 flux1-dev.safetensors。
信息

您可能需要在 Open WebUI 的 ComfyUI Workflow Nodes 部分调整一个或两个 Input Key，以匹配您工作流中的节点。例如，seed 可能需要重命名为 noise_seed，以匹配您导入工作流中的节点 ID。

提示

某些工作流，例如使用任何 Flux 模型的工作流，可能需要填写 Open WebUI 中节点条目字段的多个节点 ID。如果一个节点条目字段需要多个 ID，则节点 ID 应以逗号分隔（例如 1 或 1, 2）。

  1. 点击 Save 应用设置，开始享受与 Open WebUI 集成的 ComfyUI 图像生成功能吧！

完成这些步骤后，您的 ComfyUI 设置应已与 Open WebUI 集成，您可以使用 Flux.1 模型进行图像生成。

使用 SwarmUI 配置​

SwarmUI 使用 ComfyUI 作为其后端。为了让 Open WebUI 与 SwarmUI 一起工作，您需要在 ComfyUI Base URL 末尾追加 ComfyBackendDirect。此外，您需要设置 SwarmUI 启用局域网访问。完成上述调整后，将 SwarmUI 设置为与 Open WebUI 一起工作的步骤与上述步骤一：配置 Open WebUI 设置相同。Install SwarmUI with LAN Access

SwarmUI API URL​

您将作为 ComfyUI Base URL 输入的地址将类似于：http://<您的 SwarmUI 地址>:7801/ComfyBackendDirect

OpenAI DALL·E​

Open WebUI 也通过 OpenAI DALL·E APIs 支持图像生成。此选项包含一个选择器，可在 DALL·E 2 和 DALL·E 3 之间选择，每种都支持不同的图像尺寸。

初始设置​

  1. 从 OpenAI 获取一个 API 密钥。

配置 Open WebUI​

  1. 在 Open WebUI 中，导航到 Admin Panel > Settings > Images 菜单。
  2. 将 Image Generation Engine 字段设置为 Open AI (Dall-E)。
  3. 输入您的 OpenAI API 密钥。
  4. 选择您希望使用的 DALL·E 模型。请注意，图像尺寸选项将取决于所选模型。
    • DALL·E 2：支持 256x256、512x512 或 1024x1024 图像。
    • DALL·E 3：支持 1024x1024、1792x1024 或 1024x1792 图像。

Azure OpenAI​

OpenAI 直接不支持使用 Azure OpenAI Dall-E，但您可以设置 LiteLLM 代理，它与 Open AI (Dall-E) 图像生成引擎兼容。

使用图像生成​

Image Generation Tutorial

  1. 首先，使用文本生成模型来编写图像生成提示。
  2. 响应完成后，您可以点击图片图标来生成图像。
  3. 图像生成完成后，它会自动返回到聊天中。
提示

您还可以编辑 LLM 的响应，并将您的图像生成提示作为消息输入，而不是使用 LLM 提供的实际响应进行图像生成。