OpenAI API

TRIO 兼容 openai 库的多种接口，支持你将训练好的模型快速接入应用。

配置

将你的与 OpenAI 兼容的客户端的 base URL 设置为：

https://pytrio.cn/api/openai/v1

找到你需要推理的权重路径，可以在WebUI上的「权重」选项卡，点开具体权重后弹出的抽屉里找到。

如果你需要的是基础模型，那么只需要复制「模型列表」中的模型名称即可
在「总览」选项卡复制你的TRIO API Key

代码示例

对话

from openai import OpenAI

BASE_URL = "https://pytrio.cn/api/openai/v1"
MODEL_PATH = "YOUR_MODEL_PATH"  # 权重路径或基模名称

api_key = "YOUR_TRIO_API_KEY"  # 你的TRIO API Key

client = OpenAI(
    base_url=BASE_URL,
    api_key=api_key,
)

response = client.chat.completions.create(
    model=MODEL_PATH,
    messages=[{"role": "user", "content": "what's your name？"}],
    max_tokens=50,
    temperature=0.7,
    top_p=0.9,
)

print(f"{response.choices[0].message.content}")

文本续写

from openai import OpenAI

BASE_URL = "https://pytrio.cn/api/openai/v1"
MODEL_PATH = "YOUR_MODEL_PATH"  # 权重路径或基模名称

api_key = "YOUR_TRIO_API_KEY"  # 你的TRIO API Key

client = OpenAI(
    base_url=BASE_URL,
    api_key=api_key,
)

response = client.completions.create(
    model=MODEL_PATH,
    prompt="what's your name？",
    max_tokens=50,
    temperature=0.7,
    top_p=0.9,
)

print(f"{response.choices[0].text}")

配置

代码示例

对话

文本续写

本页目录