跳到主要内容

🌐 从兼容 OpenAI 的服务器开始

概述​

Open WebUI 不仅适用于 OpenAI/Ollama/Llama.cpp——您可以连接任何实现了兼容 OpenAI API 的服务器，无论是在本地运行还是远程运行。如果您想运行不同的语言模型，或者已经有喜欢的后端或生态系统，这将非常有用。本指南将向您展示如何

  • 设置兼容 OpenAI 的服务器（附带几种常用选项）
  • 将其连接到 Open WebUI
  • 立即开始聊天

步骤 1：选择兼容 OpenAI 的服务器​

有许多服务器和工具暴露了兼容 OpenAI 的 API。以下是一些最受欢迎的选项：

  • Llama.cpp：效率极高，可在 CPU 和 GPU 上运行
  • Ollama：超级用户友好且跨平台
  • LM Studio：适用于 Windows/Mac/Linux 的功能丰富的桌面应用程序
  • Lemonade (ONNX TurnkeyML)：基于 ONNX 的快速后端，支持 NPU/iGPU 加速

选择适合您工作流程的任何一个！

🍋 开始使用 Lemonade (ONNX TurnkeyML)​

Lemonade 是一个即插即用、基于 ONNX 且兼容 OpenAI 的服务器。以下是如何在 Windows 上尝试：

  1. 下载最新的 .exe 文件

  2. 运行 Lemonade_Server_Installer.exe

  3. 使用 Lemonade 的安装程序安装并下载模型

  4. 运行后，您的 API 端点将是

    https://:8000/api/v0

Lemonade Server

详情请参阅其文档。

步骤 2：将服务器连接到 Open WebUI​

  1. 在浏览器中打开 Open WebUI。

  2. 前往 ⚙️ 管理设置 → 连接 → OpenAI 连接。

  3. 点击 ➕ 添加连接。

    • URL：使用您服务器的 API 端点（例如，Ollama 使用 https://:11434/v1，或您自己的 Llama.cpp 服务器地址）。
    • API Key：除非必要，否则留空。

  4. 点击保存。

提示：如果在 Docker 中运行 Open WebUI，并且模型服务器在您的主机上，请使用 http://host.docker.internal:<your-port>/v1。

对于 Lemonade：添加 Lemonade 时，请将 https://:8000/api/v0 用作 URL。​

Lemonade Connection

步骤 3：开始聊天！​

在聊天菜单中选择您已连接服务器的模型，即可开始使用！

就是这样！无论您选择 Llama.cpp、Ollama、LM Studio 还是 Lemonade，都可以在 Open WebUI 中轻松试验和管理多个模型服务器。

🚀 尽情构建您完美的本地 AI 设置吧！