跳到主内容

减少内存使用

如果您在内存受限的环境中部署此镜像，可以采取一些措施来精简镜像。

在搭载 v0.3.10 版本的 Raspberry Pi 4 (arm64) 上，这能够将空闲内存消耗从 >1GB 减少到约 200MB（通过 docker container stats 观察到）。

TLDR​

设置以下环境变量（或对于现有部署，设置相应的 UI）：RAG_EMBEDDING_ENGINE: ollama, AUDIO_STT_ENGINE: openai。

更详细的解释​

大部分内存消耗是由于加载了机器学习模型。即使您使用的是外部语言模型（OpenAI 或独立的 ollama），也可能加载了许多模型用于其他目的。

截至 v0.3.10，这包括

  • 语音转文本（默认为 whisper）
  • RAG 嵌入引擎（默认为本地 SentenceTransformers 模型）
  • 图像生成引擎（默认为禁用）

前两项默认启用并设置为本地模型。您可以在管理面板中更改这些模型（RAG：文档类别，将其设置为 Ollama 或 OpenAI；语音转文本：音频部分，使用 OpenAI 或 WebAPI）。如果您正在部署新的 Docker 镜像，也可以使用以下环境变量进行设置：RAG_EMBEDDING_ENGINE: ollama, AUDIO_STT_ENGINE: openai。请注意，如果 config.json 文件已存在，这些环境变量将不起作用。