跳到主要内容

🪶 Apache Tika 提取

警告

本教程是社区贡献，不受 Open WebUI 团队支持。它仅作为如何针对您的特定用例自定义 Open WebUI 的演示。想贡献？请查看贡献教程。

🪶 Apache Tika 提取​

本文档提供了将 Apache Tika 与 Open WebUI 集成的分步指南。Apache Tika 是一个内容分析工具包，可用于检测和提取一千多种不同文件类型的元数据和文本内容。所有这些文件类型都可以通过单个接口进行解析，这使得 Tika 对于搜索引擎索引、内容分析、翻译等非常有用。

先决条件​

  • Open WebUI 实例
  • 您的系统上已安装 Docker
  • 已为 Open WebUI 设置 Docker 网络

集成步骤​

步骤 1：创建 Docker Compose 文件或运行 Apache Tika 的 Docker 命令​

您有两种运行 Apache Tika 的方式

选项 1：使用 Docker Compose

在您的 Open WebUI 实例所在的目录中创建一个名为 docker-compose.yml 的新文件。将以下配置添加到文件中

services:
  tika:
    image: apache/tika:latest-full
    container_name: tika
    ports:
      - "9998:9998"
    restart: unless-stopped

使用以下命令运行 Docker Compose 文件

docker-compose up -d

选项 2：使用 Docker Run 命令

或者，您可以使用以下 Docker 命令运行 Apache Tika

docker run -d --name tika \
  -p 9998:9998 \
  --restart unless-stopped \
  apache/tika:latest-full

请注意，如果您选择使用 Docker run 命令，如果您想在与 Open WebUI 实例相同的网络中运行容器，则需要指定 --network 标志。

步骤 2：配置 Open WebUI 使用 Apache Tika​

要在 Open WebUI 中使用 Apache Tika 作为上下文提取引擎，请按照以下步骤操作

  • 登录到您的 Open WebUI 实例。
  • 导航到 Admin Panel 设置菜单。
  • 点击 Settings。
  • 点击 Documents 标签页。
  • 将 Default 内容提取引擎下拉菜单更改为 Tika。
  • 将上下文提取引擎 URL 更新为 http://tika:9998。
  • 保存更改。

在 Docker 中验证 Apache Tika

要在 Docker 环境中验证 Apache Tika 是否正常工作，您可以按照以下步骤操作

1. 启动 Apache Tika Docker 容器​

首先，确保 Apache Tika Docker 容器正在运行。您可以使用以下命令启动它

docker run -p 9998:9998 apache/tika

此命令启动 Apache Tika 容器，并将容器的 9998 端口映射到您本地机器的 9998 端口。

2. 验证服务器正在运行​

您可以通过发送 GET 请求来验证 Apache Tika 服务器是否正在运行

curl -X GET https://:9998/tika

此命令应返回以下响应

This is Tika Server. Please PUT

3. 验证集成​

或者，您也可以尝试发送文件进行分析来测试集成。您可以使用 curl 命令发送文件进行分析来测试 Apache Tika

curl -T test.txt https://:9998/tika

将 test.txt 替换为您本地机器上文本文件的路径。

Apache Tika 将返回检测到的文件的元数据和内容类型。

使用脚本验证 Apache Tika​

如果您想自动化验证过程，此脚本会将文件发送到 Apache Tika 并检查响应是否包含预期的元数据。如果元数据存在，脚本将输出成功消息以及文件的元数据；否则，它将输出错误消息和 Apache Tika 的响应。

import requests

def verify_tika(file_path, tika_url):
    try:
        # Send the file to Apache Tika and verify the output
        response = requests.put(tika_url, files={'file': open(file_path, 'rb')})

        if response.status_code == 200:
            print("Apache Tika successfully analyzed the file.")
            print("Response from Apache Tika:")
            print(response.text)
        else:
            print("Error analyzing the file:")
            print(f"Status code: {response.status_code}")
            print(f"Response from Apache Tika: {response.text}")
    except Exception as e:
        print(f"An error occurred: {e}")

if __name__ == "__main__":
    file_path = "test.txt"  # Replace with the path to your file
    tika_url = "https://:9998/tika"

    verify_tika(file_path, tika_url)

运行脚本的说明

先决条件​

  • 您的系统上必须安装 Python 3.x
  • 必须安装 requests 库（您可以使用 pip 安装：pip install requests）
  • Apache Tika Docker 容器必须正在运行（使用 docker run -p 9998:9998 apache/tika 命令）
  • 将 "test.txt" 替换为您要发送到 Apache Tika 的文件路径

运行脚本​

  1. 将脚本保存为 verify_tika.py（例如，使用记事本或 Sublime Text 等文本编辑器）
  2. 打开终端或命令提示符
  3. 导航到您保存脚本的目录（使用 cd 命令）
  4. 使用以下命令运行脚本：python verify_tika.py
  5. 脚本将输出一条消息，指示 Apache Tika 是否正常工作

注意：如果遇到任何问题，请确保 Apache Tika 容器正常运行，并且文件已发送到正确的 URL。

结论​

按照这些步骤，您可以在 Docker 环境中验证 Apache Tika 是否正常工作。您可以通过发送文件进行分析、发送 GET 请求验证服务器是否运行或使用脚本自动化过程来测试设置。如果遇到任何问题，请确保 Apache Tika 容器正常运行，并且文件已发送到正确的 URL。

故障排除​

  • 确保 Apache Tika 服务正在运行且可从 Open WebUI 实例访问。
  • 检查 Docker 日志，查找与 Apache Tika 服务相关的任何错误或问题。
  • 验证 Open WebUI 中是否正确配置了上下文提取引擎 URL。

集成的好处​

将 Apache Tika 与 Open WebUI 集成提供了多种好处，包括

  • 改进的元数据提取：Apache Tika 先进的元数据提取功能可以帮助您从文件中提取准确且相关的数据。
  • 支持多种文件格式：Apache Tika 支持多种文件格式，使其成为处理各种文件类型的组织的理想解决方案。
  • 增强的内容分析：Apache Tika 先进的内容分析功能可以帮助您从文件中提取有价值的见解。

结论​

将 Apache Tika 与 Open WebUI 集成是一个简单的过程，可以提高您的 Open WebUI 实例的元数据提取能力。通过遵循本文档中概述的步骤，您可以轻松将 Apache Tika 设置为 Open WebUI 的上下文提取引擎。