跳到主要内容

使用专用任务模型提升性能

Open-WebUI 提供了多项自动化功能——例如标题生成、标签创建、自动补全和搜索查询生成——以增强用户体验。然而，这些功能可能会向您的本地模型同时发出多个请求，这可能会影响资源有限的系统性能。

本指南将解释如何通过配置专用、轻量级的任务模型或有选择地禁用自动化功能来优化您的设置，从而确保您的主要聊天功能保持响应迅速和高效。

[!提示]

为什么 Open-WebUI 感觉很慢？​

默认情况下，Open-WebUI 有多项后台任务，它们虽然能带来神奇的用户体验，但也会给本地资源带来沉重负担

  • 标题生成
  • 标签生成
  • 自动补全生成（此功能在每次按键时触发）
  • 搜索查询生成

这些功能中的每一项都会向您的模型发出异步请求。例如，自动补全功能持续不断的调用可能会显著延迟内存或处理能力有限的设备上的响应，例如运行 32B 量化模型的 32GB 内存 Mac。

优化任务模型有助于将这些后台任务与您的主聊天应用程序隔离，从而提高整体响应能力。

⚡ 如何优化任务模型性能​

请按照以下步骤配置高效的任务模型

步骤 1：访问管理面板​

  1. 在浏览器中打开 Open-WebUI。
  2. 导航到管理面板。
  3. 点击侧边栏中的设置。

步骤 2：配置任务模型​

  1. 前往界面 > 设置任务模型。

  2. 根据您的需求选择以下选项之一

    • 轻量级本地模型（推荐）

      • 选择一个紧凑型模型，例如 Llama 3.2 3B 或 Qwen2.5 3B。
      • 这些模型提供快速响应，同时消耗最少的系统资源。

    • 托管 API 端点（速度最快）

      • 连接到托管 API 服务以处理任务。
      • 这可能非常经济。例如，OpenRouter 提供的 Llama 和 Qwen 模型每百万输入 token 不到 1.5 美分。

    • 禁用不必要的自动化功能

      • 如果不需要某些自动化功能，请禁用它们以减少多余的后台调用——特别是像自动补全这样的功能。

Local Model Configuration Set to Qwen2.5:3b

步骤 3：保存更改并测试​

  1. 保存新配置。
  2. 与您的聊天界面交互并观察响应速度。
  3. 如有必要，可通过进一步禁用未使用的自动化功能或尝试不同的任务模型进行调整。

🚀 本地模型推荐设置​

优化策略优势推荐用于
轻量级本地模型最小化资源占用硬件资源有限的系统
托管 API 端点提供最快的响应时间具有可靠互联网/API 访问的用户
禁用自动化功能通过减少负载最大化性能专注于核心聊天功能的用户

实施这些建议可以大大提高 Open-WebUI 的响应速度，同时让您的本地模型高效处理聊天交互。

💡 额外提示​

  • 监控系统资源：使用操作系统工具（例如 macOS 上的活动监视器或 Windows 上的任务管理器）密切关注资源使用情况。
  • 减少并行模型调用：限制后台自动化功能可防止同时请求使您的 LLM 过载。
  • 尝试不同配置：测试不同的轻量级模型或托管端点，以找到速度和功能之间的最佳平衡。
  • 保持更新：Open-WebUI 的定期更新通常包含性能改进和错误修复，因此请保持您的软件最新。

通过应用这些配置更改，您将获得更具响应性、更高效的 Open-WebUI 体验，使您的本地 LLM 能够专注于提供高质量的聊天交互，而不会出现不必要的延迟。