跳到主要内容

🧠 RAG（检索增强生成）故障排除

检索增强生成（RAG）通过检索相关信息并将其输入模型，使语言模型能够基于外部内容（文档、知识库等）进行推理。但当结果不如预期（例如，模型“幻觉”或遗漏相关信息）时，问题往往不在于模型本身，而是上下文问题。

让我们来分解常见原因和解决方案，助您大幅提升 RAG 准确性！🚀

常见的 RAG 问题及解决方案 🛠️​

1. 模型“看不见”您的内容 👁️❌​

这是最常见的问题——通常是由内容摄取过程中的问题引起的。模型产生幻觉不是因为它错了，而是因为它根本就没有得到正确的内容。

✅ 解决方案：检查您的内容提取设置

  • 导航至：管理设置 > 文档。
  • 请确保您正在使用强大的内容提取引擎，例如：
    • Apache Tika
    • Docling
    • 自定义提取器（取决于您的文档类型）

📌 提示：尝试上传文档并预览提取的内容。如果内容为空白或缺少关键部分，则需要调整提取器设置或使用不同的引擎。

2. 文档只有一小部分被使用 📄➡️✂️​

Open WebUI 默认设计用于处理上下文窗口有限的模型。例如，许多本地模型（如 Ollama 的默认模型）仅限于 2048 个 token。因此，Open WebUI 会积极裁剪检索到的内容，使其适应假定的可用空间。

✅ 解决方案

  • 前往管理设置 > 文档
  • 然后选择以下任一方式：
    • 💡 启用“绕过嵌入和检索” — 这将直接发送完整内容，而无需应用严格的检索过滤器。
    • 🔍 切换开启“完整上下文模式” — 这将向模型提示注入更全面的内容。

📌 警告：请注意上下文限制——如果您的模型无法处理更多 token，内容仍将被截断。

3. Token 限制过短 ⏳​

即使检索成功，您的模型也可能无法处理其接收到的所有内容——因为它根本无法处理。

默认情况下，许多模型（特别是 Ollama 托管的 LLM）的上下文窗口限制为 2048 个 token。这意味着您检索到的数据中只有一小部分会被实际使用。

✅ 解决方案

  • 🛠️ 扩展模型的上下文长度
    • 导航至模型编辑器或聊天控制
    • 修改上下文长度（例如，如果支持，增加到 8192+ 个 token）

ℹ️ 注意：2048 token 的默认限制是一个很大的局限。为了获得更好的 RAG 结果，我们建议使用支持更长上下文的模型。

✅ 替代方案：使用具有更大上下文容量的外部 LLM

  • 尝试使用 GPT-4、GPT-4o、Claude 3、Gemini 1.5 或 Mixtral（支持 8k+ 上下文）
  • 将其性能与 Ollama 进行比较——注意在能够注入更多内容时准确性的差异！

📌 提示：在生产用例中，坚持使用外部模型以获得更好的 RAG 性能。

4. 嵌入模型质量差或不匹配 📉🧠​

糟糕的嵌入 = 糟糕的检索。如果您的内容的向量表示很差，无论您的 LLM 多么强大，检索器都无法提取正确的内容。

✅ 解决方案

  • 切换到高质量的嵌入模型（例如，all-MiniLM-L6-v2、Instructor X 或 OpenAI 嵌入）
  • 前往：管理设置 > 文档
  • 更改模型后，请务必：
    • ⏳ 重新索引所有现有文档，使新的嵌入生效。

📌 请记住：嵌入质量直接影响内容的检索效果。

5. ❌ 400: 'NoneType' 对象没有 'encode' 属性​

此错误表示嵌入模型配置错误或缺失。当 Open WebUI 尝试创建嵌入但未加载有效的模型时，它无法处理文本——结果就是这个难以理解的错误。

💥 原因

  • 您的嵌入模型未正确设置。
  • 可能未完全下载。
  • 或者，如果您使用外部嵌入模型，它可能无法访问。

✅ 解决方案

  • 前往：管理设置 > 文档 > 嵌入模型
  • 再次保存嵌入模型——即使它已被选中。这会强制重新检查/下载。
  • 如果您使用远程/外部嵌入工具，请确保它正在运行且 Open WebUI 可以访问。

📌 提示：修复配置后，尝试重新嵌入文档并验证日志中未显示错误。

🧪 专业提示：使用 GPT-4o 或 GPT-4 进行测试​

如果您不确定问题出在检索、token 限制还是嵌入方面——尝试暂时使用 GPT-4o（例如，通过 OpenAI API）。如果结果突然变得更准确，则强烈表明您本地模型的上下文限制（Ollama 中默认为 2048）是瓶颈。

  • GPT-4o 处理更大的输入（128k token！）
  • 提供了评估系统 RAG 可靠性的绝佳基准

总结清单 ✅​

问题解决方案
🤔 模型“看不见”内容检查文档提取器设置
🧹 只使用了部分内容启用完整上下文模式或绕过嵌入
⏱ 受 2048 token 限制增加模型上下文长度或使用大上下文 LLM
📉 检索不准确切换到更好的嵌入模型，然后重新索引
仍然困惑？使用 GPT-4o 进行测试并比较输出

通过优化这些方面——提取、嵌入、检索和模型上下文——您可以显著提高 LLM 处理文档的准确性。不要让 2048 token 的上下文窗口或薄弱的检索管道阻碍您 AI 的力量 🎯。