本教程是社区贡献内容,不受 Open WebUI 团队支持。它仅作为如何针对您的特定用例自定义 Open WebUI 的演示。想贡献吗?查看贡献教程。
将 Continue.dev VSCode 扩展与 Open WebUI 集成
下载扩展
您可以在 Visual Studio Marketplace 在此下载 VSCode 扩展
安装后,您应该在侧边栏中看到一个“continue”选项卡。打开它。
点击主聊天输入框上方的助手选择器。然后将鼠标悬停在“Local Assistant”上,您应该会看到一个设置图标(看起来像齿轮)。
点击设置图标后,编辑器中应该会打开一个 config.yaml
文件。
在这里,您可以配置 continue 使用 Open WebUI。
目前,“ollama”提供者不支持身份验证,因此我们无法将此提供者与 Open WebUI 一起使用。
然而,Ollama 和 Open WebUI 都与 OpenAI API 规范兼容。您可以在 Ollama 的博客文章在此查看相关内容。
我们仍然可以设置 Continue 使用 openai 提供者,这将允许我们使用 Open WebUI 的身份验证令牌。
配置
在 config.yaml
中,您只需添加/更改以下选项。
将提供者更改为 openai
provider: openai
添加或更新 apiBase
将此设置为您的 Open Web UI 域名。
apiBase: http://localhost:3000/ #If you followed Getting Started Docker
添加 apiKey
apiKey: sk-79970662256d425eb274fc4563d4525b # Replace with your API key
您可以在 Open WebUI -> 设置 -> 帐户 -> API 密钥中找到并生成您的 api 密钥
您需要复制“API Key”(以 sk- 开头)
配置示例
这是使用 openai 提供者通过 Open WebUI 的 config.yaml 基本示例。使用 Granite Code 作为模型。请确保事先将模型拉取到您的 ollama 实例中。
name: Local Assistant
version: 1.0.0
schema: v1
models:
- name: Granite Code
provider: openai
model: granite-code:latest
env:
useLegacyCompletionsEndpoint: false
apiBase: http://YOUROPENWEBUI/ollama/v1
apiKey: sk-YOUR-API-KEY
roles:
- chat
- edit
- name: Model ABC from pipeline
provider: openai
model: PIPELINE_MODEL_ID
env:
useLegacyCompletionsEndpoint: false
apiBase: http://YOUROPENWEBUI/api
apiKey: sk-YOUR-API-KEY
roles:
- chat
- edit
- name: Granite Code Autocomplete
provider: openai
model: granite-code:latest
env:
useLegacyCompletionsEndpoint: false
apiBase: http://localhost:3000/ollama/v1
apiKey: sk-YOUR-API-KEY
roles:
- autocomplete
prompts:
- name: test
description: Write unit tests for highlighted code
prompt: |
Write a comprehensive set of unit tests for the selected code. It should setup, run tests that check for correctness including important edge cases, and teardown. Ensure that the tests are complete and sophisticated. Give the tests just as chat output, don't edit any file.
保存您的 config.yaml
文件,就这样!
您现在应该在 Continue 选项卡模型选择中看到您的模型。
选择它,您现在应该可以通过 Open WebUI(或您设置的任何流水线)进行聊天
您可以对您想使用的任意数量的模型执行此操作,尽管任何模型都可以工作,但您应该使用专为代码设计的模型。
有关更多 continue 配置,请参阅 continue 文档,Continue 文档