减少内存使用

如果您在内存受限的环境中部署此镜像，可以采取一些措施来精简镜像。

在版本为 v0.3.10 的树莓派 4 (arm64) 上，这能将空闲内存消耗从 >1GB 降低到约 200MB（通过 docker container stats 观察）。

总结

设置以下环境变量（或对于现有部署，设置相应的 UI 设置）：RAG_EMBEDDING_ENGINE: ollama, AUDIO_STT_ENGINE: openai。

详细说明

大部分内存消耗是由于加载了机器学习（ML）模型。即使您使用外部语言模型（OpenAI 或非捆绑的 Ollama），许多模型也可能因其他目的而加载。

截至 v0.3.10 版本，这包括：

• 语音转文本（默认使用 Whisper）
• RAG 嵌入引擎（默认为本地 SentenceTransformers 模型）
• 图像生成引擎（默认禁用）

前两个功能默认启用并设置为本地模型。您可以在管理面板中更改模型（RAG：文档类别，将其设置为 Ollama 或 OpenAI；语音转文本：音频部分，使用 OpenAI 或 WebAPI）。如果您正在部署一个新的 Docker 镜像，您也可以使用以下环境变量设置它们：RAG_EMBEDDING_ENGINE: ollama, AUDIO_STT_ENGINE: openai。请注意，如果 config.json 已存在，这些环境变量将不起作用。