自托管AI智能助手API

1710335211717

介绍

Open Assistant API 是一款开源、自托管的 AI 智能助手 API,兼容官方 OpenAI 接口。可直接与官方OpenAI客户端配合使用进行构建 法学硕士申请。

它支持ONE-API,用于与更多商业和私有模型集成。

https://github.com/Tuanzi1015/open-assistant-api

用法

以下是使用官方 OpenAI Python 库的示例:openai

1
2
3
4
5
6
7
8
9
10
11
12
import openai

client = openai.OpenAI(
base_url="http://127.0.0.1:8086/api/v1",
api_key="xxx"
)

assistant = client.beta.assistants.create(
name="demo",
instructions="You are a helpful assistant.",
model="gpt-4-1106-preview"
)

为什么选择 Open Assistant API

特征 打开 Google 助理 API OpenAI 助手 API
生态系统战略 开源 闭源
RAG 引擎 实现简单 支持
互联网搜索 支持 不支持
自定义函数 支持 支持
内置工具 扩展 不可扩展
代码解释器 开发中 支持
法学硕士支持 支持更多 LLM 只有 GPT
消息流输出 支持 不支持
本地部署 支持 不支持
  • LLM 支持:与官方 OpenAI 版本相比,通过与 One API 集成可以支持更多模型。
  • 工具:目前支持在线搜索;可以轻松扩展更多工具。
  • RAG 引擎:目前支持的文件类型有 txt、pdf、html、markdown。我们提供初步的 实现。
  • 消息流输出:支持消息流输出,用户体验更流畅。
  • 生态策略:开源,可以在本地部署服务,扩展现有功能。

快速上手

启动 Open Assistant API 的最简单方法是运行 docker-compose.yml 文件。确保 Docker 和 Docker Compose 在运行之前安装在您的计算机上。

配置

进入项目根目录,打开,填写openai api_key和bing搜索键(可选)。docker-compose.yml

1
2
3
4
5
# openai api_key (supports OneAPI api_key)
OPENAI_API_KEY=<openai_api_key>

# bing search key (optional)
BING_SUBSCRIPTION_KEY=<bing_subscription_key>

使用 Docker Compose 运行:

1
docker compose up -d

访问 API

API 基本 URL:http://127.0.0.1:8086/api/v1

接口文档地址:http://127.0.0.1:8086/docs

完整使用示例

在此示例中,使用官方 OpenAI 客户端库创建并运行一个 AI 助手,包括两个内置的 工具、web_search和检索,以及自定义功能。 在运行之前,您需要运行以安装 Python 库。pip install openai``openai

1
2
# !pip install openai
python tests/e2e/index.py

权限

基于令牌提供简单的用户隔离,以满足SaaS部署需求。可以通过配置 来启用它。APP_AUTH_ENABLE

img

  1. 身份验证方法是持有者令牌。您可以包含在用于身份验证的标头中。Authorization: Bearer ***
  2. 令牌管理在 API 文档的令牌部分中进行了介绍。相关 API 需要使用管理员令牌进行身份验证,该令牌配置为并默认为“admin”。APP_AUTH_ADMIN_TOKEN
  3. 创建 Token 时,需要提供大型模型的基 URL 和 API 密钥。创建的助手将使用相应的配置来访问大型模型。