跳到主要内容

Langfuse 与 Open WebUI 集成

Langfuse (GitHub) 为 Open WebUI 提供开源的可观测性和评估功能。通过启用 Langfuse 集成，您可以使用 Langfuse 跟踪您的应用程序数据，以开发、监控和改进 Open WebUI 的使用，包括

  • 应用程序 跟踪
  • 使用模式
  • 按用户和模型划分的成本数据
  • 回放会话以调试问题
  • 评估

如何将 Langfuse 与 Open WebUI 集成​

Langfuse Integration Langfuse 集成步骤

Open WebUI 中的 Pipelines 是一个与 UI 无关的 OpenAI API 插件框架。它支持注入插件来拦截、处理用户提示并将其转发给最终的 LLM，从而增强对提示处理的控制和定制。

要使用 Langfuse 跟踪您的应用程序数据，您可以使用 Langfuse pipeline，它能够实现对消息交互的实时监控和分析。

快速入门指南​

步骤 1：设置 Open WebUI​

确保 Open WebUI 正在运行。要做到这一点，请查阅 Open WebUI 文档。

步骤 2：设置 Pipelines​

使用 Docker 启动 Pipelines。使用以下命令启动 Pipelines

docker run -p 9099:9099 --add-host=host.docker.internal:host-gateway -v pipelines:/app/pipelines --name pipelines --restart always ghcr.io/open-webui/pipelines:main

步骤 3：将 Open WebUI 连接到 Pipelines​

在 管理设置 中，创建一个新的 OpenAI API 类型连接并保存，详情如下

Open WebUI Settings

步骤 4：添加 Langfuse Filter Pipeline​

接下来，导航到 管理设置 -> Pipelines 并添加 Langfuse Filter Pipeline。指定 Pipelines 正在监听 http://host.docker.internal:9099（如之前配置），并使用 从 Github URL 安装 选项安装 Langfuse Filter Pipeline，URL 如下

https://github.com/open-webui/pipelines/blob/main/examples/filters/langfuse_filter_pipeline.py

现在，在下方添加您的 Langfuse API 密钥。如果您尚未注册 Langfuse，您可以在此处创建一个账户以获取 API 密钥。

Open WebUI add Langfuse Pipeline

注意: 要在启用流式传输时捕获 OpenAI 模型的用法（令牌计数），您必须在 Open WebUI 的模型设置中，在 能力 下方勾选“用法”框。

步骤 5：在 Langfuse 中查看您的跟踪​

现在您可以与您的 Open WebUI 应用程序交互，并在 Langfuse 中查看跟踪。

在 Langfuse UI 中的示例跟踪

Open WebUI Example Trace in Langfuse

了解更多​

有关 Open WebUI Pipelines 的全面指南，请访问此文章。