警告

本教程由社区贡献，不受 Open WebUI 团队支持。它仅作为如何针对您的特定用例自定义 Open WebUI 的演示。想要贡献？请查看贡献教程。

注意

本指南已通过手动安装方式验证了 Open WebUI 的设置。

使用 IPEX-LLM 在 Intel GPU 上设置本地 LLM

信息

IPEX-LLM 是一个 PyTorch 库，用于在 Intel CPU 和 GPU（例如，带集成显卡的本地电脑，或独立显卡如 Arc A 系列、Flex 和 Max）上以极低延迟运行 LLM。

本教程演示了如何使用在 Intel GPU 上运行的 IPEX-LLM 加速的 Ollama 后端来设置 Open WebUI。通过遵循本指南，您将能够在低成本电脑（即仅带集成显卡）上设置 Open WebUI，并获得流畅的体验。

在 Intel GPU 上启动 Ollama 服务

关于如何在 Intel GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务，请参考 IPEX-LLM 官方文档中的此指南。

提示

如果您想从另一台机器访问 Ollama 服务，请在执行命令 ollama serve 之前确保设置或导出环境变量 OLLAMA_HOST=0.0.0.0。

配置 Open WebUI

通过菜单中的设置 -> 连接访问 Ollama 设置。默认情况下，Ollama 基本 URL 预设为https://localhost:11434，如下图所示。要验证 Ollama 服务连接的状态，请点击文本框旁边的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接，您将看到错误消息：WebUI could not connect to Ollama。

如果连接成功，您将看到消息：Service Connection Verified（服务连接已验证），如下图所示。

提示

如果您想使用托管在不同 URL 的 Ollama 服务器，只需将 Ollama 基本 URL 更新为新的 URL，然后点击刷新按钮重新确认与 Ollama 的连接。