跳到主要内容

🤖 模型

Open WebUI 中工作区模型部分是一个强大的工具,允许您创建和管理为特定目的量身定制的自定义模型。此部分作为所有模型文件的中心枢纽,提供了编辑、克隆、共享、导出和隐藏模型的一系列功能。

Modelfile 管理

模型部分,您可以对模型文件执行以下操作

  • 编辑:深入查看您的模型文件详情,更改其特征等。
  • 克隆:创建模型文件的副本,克隆后的模型 ID 将附加 -clone。请注意,您不能克隆基础模型;必须先创建一个模型才能对其进行克隆。
  • 共享:点击共享按钮,将您的模型文件分享给 Open WebUI 社区,这会重定向到 https://openwebui.com.cn/models/create
  • 导出:将模型文件的 .json 导出文件下载到您的电脑。
  • 隐藏:在聊天中的模型选择下拉菜单中隐藏该模型文件。

Modelfile 编辑

编辑模型文件时,您可以自定义以下设置

  • 头像图片:上传一个头像图片来代表您的模型文件。
  • 模型名称:更改您的模型文件名称。
  • 系统提示词:为您的模型文件提供一个可选的系统提示词。
  • 模型参数:调整您的模型文件参数。
  • 提示词建议:添加将在新的空白聊天页面上显示的提示词。
  • 文档:向模型文件添加文档(始终使用 RAG [检索增强生成])。
  • 工具、过滤器和操作:选择模型文件可用的工具、过滤器和操作。
  • 视觉:切换以启用多模态的视觉功能。
  • 标签:为模型文件添加标签,这些标签将显示在模型选择下拉菜单中的模型名称旁边。

模型发现与导入/导出

模型部分还包括模型导入和导出的功能

  • 导入模型:使用此按钮从 .json 文件或其他来源导入模型。
  • 导出模型:使用此按钮将所有模型文件导出到一个 .json 文件中。

要下载模型,请导航到连接选项卡中的Ollama 设置。或者,您也可以通过在模型选择下拉菜单中输入类似 ollama run hf.co/[模型创建者]/[模型名称] 的命令来直接下载模型。此操作将创建一个标记为“拉取 [模型名称]”的按钮用于下载。

模型切换

示例:在多阶段任务中切换使用 MistralLLaVAGPT-3.5

  • 场景:一个多阶段对话涉及不同类型的任务,例如从一个简单的常见问题开始,解释一张图片,然后生成一个创意回复。

  • 切换原因:用户可以利用每个模型在每个阶段的特定优势

    • 使用 Mistral 处理一般问题,以减少计算时间和成本。
    • 使用 LLaVA 处理视觉任务,从基于图像的数据中获取见解。
    • 使用 GPT-3.5 生成更复杂和细致的语言输出。
  • 流程:用户根据任务类型在不同模型之间切换,以最大化效率和回复质量。

    如何操作:

    1. 选择模型:在聊天界面中,从模型切换器下拉菜单中选择所需的模型。您可以同时选择最多两个模型,两者都会生成回复。然后可以使用前后箭头在它们之间切换。
    2. 上下文保留:Open WebUI 会在模型切换时保留对话上下文,实现平滑过渡。