Nexevo.aiNexevo.ai

快速开始

把任意 OpenAI 兼容 SDK 的 base_url 指向我们的网关,开始调用。第一次响应通常在几秒内返回。

from openai import OpenAI

client = OpenAI(
    api_key="sk-xc-your-key-here",
    base_url="https://api.nexevo.ai/v1",
)

resp = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(resp.choices[0].message.content)

鉴权

在 Keys 页面创建 API 密钥,以 Bearer token 形式放在 Authorization 头。每个请求都需要合法密钥;已撤销或过期的密钥会被立即拒绝。

http
GET /v1/billing/balance HTTP/1.1
Host: api.nexevo.ai
Authorization: Bearer sk-xc-abc123...

单 key 的设置(子额度 / IP 白名单 / 模型限制 / 过期)可以在 Keys 页配置。用来给不同应用或环境签发作用域受限的密钥。

请勿前端硬编码 key
API key 等同密码,只能在后端服务器使用。前端 / 移动 App 应通过你自己的中间层调用,避免在浏览器/客户端直接暴露 sk-xc-*。

对话 completions

POST 到 /v1/chat/completions,使用 OpenAI 标准 message 格式。用 model=nexevo/balanced 我们会按你的问题自动路由到最合适的上游。也支持 temperature / max_tokens / top_p / stop 等标准参数。

python
resp = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user",   "content": "Explain quantum entanglement"},
    ],
    temperature=0.7,
    max_tokens=500,
)
print(resp.choices[0].message.content)
Parameters
modelstringRequired指定调用的模型 ID,如 gpt-4o / claude-opus-4-7。<br/>智能路由别名:nexevo/fast / nexevo/balanced / nexevo/auto查看全部 121 个模型 →
messagesMessage[]RequiredOpenAI 标准对话历史。{role, content} 数组,role ∈ system/user/assistant/tool。
streambooleanDefault: false开启 SSE 流式;返回 ChatCompletionChunk 序列,需用 SSE 解析器消费。
temperaturenumberDefault: 1采样温度,0-2。低 = 确定性 / 代码;高 = 创意。
max_tokensintegerOptional单次响应最大 token。不设则用模型默认。
top_pnumberDefault: 1核采样阈值。一般 temperature OR top_p 二选一。
toolsTool[]OptionalOpenAI function calling 标准 tools 数组。详见 Function calling 节。
tool_choice"auto" | "none" | objectOptional工具选择策略;指定具体 tool 名可强制调用。
response_formatobjectOptionalJSON 模式或 Schema 严格模式: {type: "json_object"}{type: "json_schema", json_schema: {...}}
modelsstring[]OptionalNexevo 扩展:多模型 fallback 列表。主 model 失败按顺序尝试,大幅提升可用性。
providerProviderPreferenceOptionalNexevo 扩展:路由偏好,如 {order: ["groq"], allow_fallbacks: true}
max_priceMaxPriceOptionalNexevo 扩展:成本上限 USD,如 {prompt: 0.01, completion: 0.05}。超价直接拒绝。

流式响应

设 stream=true,我们会逐 token 转发上游的 SSE,附加延迟极小。流以 `data: [DONE]` 结束。工具调用通过 tool_calls delta 返回——与 OpenAI 格式完全一致。

python
stream = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[{"role": "user", "content": "Write a haiku."}],
    stream=True,
)
for chunk in stream:
    delta = chunk.choices[0].delta.content or ""
    print(delta, end="", flush=True)

Function calling

传入 `tools` 数组(JSON Schema 描述函数)。若模型决定调工具,返回 `tool_calls`。你本地执行函数,把结果以 tool role 消息追加,再次调 API——和 OpenAI 标准流程一样。

python
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get the weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

resp = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[{"role": "user", "content": "What's the weather in Tokyo?"}],
    tools=tools,
)
tool_call = resp.choices[0].message.tool_calls[0]
print(tool_call.function.name, tool_call.function.arguments)

图像 / 视频 / 3D 生成

Nexevo 生成网关统一接入 8 家 provider 的 22 个模型,涵盖图像 / 视频 / 3D 三种 modality。图像同步返回 URL 或 base64;视频 / 3D 异步走 job_id 轮询(SDK 提供 generate_and_wait 自动等)。Sora 2 / Veo 3 / Runway 视频自动镜像到 OSS,客户拿到 24h 有效签名 URL。完整可玩示例见 /cookbook 的 Generation 分类。

python
# 1) 文生图(同步)— DALL-E 3 / Imagen 4 / FLUX
img = client.images.generate(
    model="nexevo/image-balanced",       # or "dall-e-3" / "imagen-4-ultra" / "flux-pro"
    prompt="a serene Japanese garden in cyberpunk style",
    n=1, size="1024x1024",
)
print(img["data"][0]["url"])

# 2) 文生视频(异步)— Sora 2 / Veo 3 / Wan 2.6
job = client.videos.generate_and_wait(
    model="sora-2",                          # or "veo-3" / "wan-2.6"
    prompt="a cat skating in neon Tokyo",
    duration_sec=5, aspect_ratio="16:9",
    poll_interval_sec=5, timeout_sec=600,
)
print(job["results"][0]["url"])              # OSS 24h signed URL

# 3) 3D 资产 — Hunyuan 3D 直连
asset = client.models3d.generate_and_wait(
    model="hunyuan-3d-2", prompt="a low-poly viking longboat",
    output_format="glb",
)
print(asset["results"][0]["url"])

# 4) 图生视频 — Runway Gen-4 需先上传参考图
with open("char.png", "rb") as f:
    up = client.generation.uploads.upload(
        f.read(), filename="char.png", content_type="image/png",
    )
job = client.videos.generate_and_wait(
    model="runway-gen4",
    prompt="zoom in slowly while waves crash",
    duration_sec=5,
    reference_image_url=up["url"],
)
POST /v1/images/generations · 同步
modelstringRequired模型 id,如 nexevo/image-balanced / dall-e-3 / imagen-4-ultra / flux-pro。完整 22 模型见 GET /generation/models
promptstringRequired文本描述,最多 4000 字符。
nintegerDefault: 1生成数量,1-10。Imagen 上限 4,DALL-E 3 仅 1。
sizestringDefault: 1024x1024尺寸,常见 1024x1024 / 1792x1024 / 1024x1792;Imagen 自动映射到 aspectRatio。
quality"standard" | "hd"Optional仅 DALL-E 3 / gpt-image-1 用。hd 价格×2,细节更好。
reference_image_b64stringOptional图生图用,base64 PNG / JPG。OpenAI gpt-image-1 / FLUX 支持;DALL-E 3 不支持。
negative_promptstringOptional不想要的元素描述。OpenAI 自动忽略,Replicate / Wan 用。
seedintegerOptional确定性种子,同 prompt + seed 出同图(部分 provider)。
POST /v1/videos/generations · 异步,返 {job_id, status}
modelstringRequiredsora-2 / sora-2-pro / veo-3 / veo-3-fast / wan-2.6 / wan-2.6-pro / runway-gen4 / nexevo/video-{fast|balanced|pro}
promptstringRequired视频文本描述。
duration_secnumberDefault: 5视频时长,1-30 秒。Sora 2 / Veo 3 推荐 5-10。
aspect_ratiostringDefault: "16:9"16:9 / 9:16 / 1:1 / 4:3 / 3:4
reference_image_urlstringOptional图生视频参考图(https URL)。Runway Gen-4 强制必传;Wan 2.6 用作首帧。先调 POST /v1/generation/upload 拿 OSS URL。
negative_promptstringOptionalWan / Replicate / Veo 用。
seedintegerOptional确定性种子(部分 provider)。
POST /v1/3d/generations · 异步
modelstringRequiredhunyuan-3d-2 / hunyuan-3d-2-pro / nexevo/3d-{fast|balanced}
promptstringOptional文本描述(prompt 或 reference_image_url 二选一)。
reference_image_urlstringOptional图生 3D 参考图(https URL)。
output_formatstringDefault: "glb"glb / obj / usdz / stl / fbx
POST /v1/generation/upload · multipart,返 OSS 签名 URL
filemultipart fileRequiredmultipart/form-data 字段名 file,PNG / JPG / WebP / GIF,≤ 10 MB。
GET /v1/generation/jobs/{job_id} · poll(SDK 自动)
idstringOptionalNexevo 内部 job_id(gen_xxxx)。
status"pending" | "running" | "succeeded" | "failed" | "canceled"Optional异步任务状态。
progressnumberOptional0-100,部分 provider(Replicate / Veo)实时报。
resultsGenResult[]Optional完成后含 { url, b64_json, mime_type, duration_ms, ... }。Sora 2 / Veo 3 / Runway 自动镜像到 OSS,URL 24h 有效。
charged_usdstringOptional扣费金额(完成时填入)。
errorobject | nullOptional失败时含 { code, message, retryable }
Tip
用 SDK 走 generate_and_wait 比手写轮询省事:client.videos.generate_and_wait(model='sora-2', prompt='...', duration_sec=5) — 默认 5s 轮询、10 min 超时,失败抛 TimeoutError。

Embeddings · 文本向量化

把文本压缩成固定维度向量(768 / 1024 / 1536 / 3072),用于 RAG 检索、语义搜索、聚类、推荐。OpenAI 兼容 schema:把 base_url 改成我们的就能跑。计费按 input tokens,典型 $0.02-0.13/1M(比 chat 便宜 30-100 倍)。

# OpenAI 兼容 schema — 把 OpenAI client 的 base_url 改成我们的就能用
resp = client.embeddings.create(
    model="text-embedding-3-large",      # 也可写 voyage-3 / jina-embeddings-v3 / bge-m3
    input="Nexevo.ai 是一个 LLM 网关",         # 或 list[str] 批量
)
vec = resp["data"][0]["embedding"]       # 3072 个浮点数
print(len(vec), resp["usage"]["prompt_tokens"])

# 智能路由 — admin 可后台改路由目标,你的代码不用改
resp = client.embeddings.create(
    model="nexevo/embed-balanced",    # 智能路由 = voyage-3(默认)
    input=["doc 1...", "doc 2...", "doc 3..."],
)
for row in resp["data"]:
    print(row["index"], len(row["embedding"]))
POST /v1/embeddings
modelstringRequired客户面 model id。可填:text-embedding-3-large / text-embedding-3-small / voyage-3-large / voyage-3 / jina-embeddings-v3 / bge-m3 / embed-multilingual-v3.0;或智能路由 nexevo/embed-fast / nexevo/embed-balanced
inputstring | string[]Required单段文本或批量(批量上限取决于 provider,通常 100-2048)。
encoding_format"float" | "base64"Default: "float"返回向量的编码;base64 体积小但需要客户端 decode。
dimensionsintegerOptional降维向量维度。仅 text-embedding-3-* / jina-embeddings-v3 支持。
userstringOptionaltenant 标识,审计与速率限制用。
选哪家 provider?
中文 RAG 推 BGE-m3(阿里云,$0.07/M);英文 RAG 推 Voyage-3($0.06/M);多语言通用推 Jina-v3($0.02/M);极致便宜推 text-embedding-3-small($0.02/M)。或 nexevo/embed-balanced 让系统自动路由。

Rerank · RAG 第二段精排

把 embedding 检索召回的 top-50 候选按相关性精排,只留 top-5 给 chat。embedding 是粗筛(单向投影),rerank 是精筛(看 query+候选 pair 的交互),提升答题准确度的关键。

# RAG 第二段:把 embedding 召回的 top-50 候选重排,只留 top-5 最相关
ranked = client.rerank.create(
    model="rerank-v3.5",                 # 也可 jina-reranker-v2-base / bge-reranker-v2
    query="如何重置员工 VPN?",
    documents=top50_docs,                # list[str] 或 list[{"text": "..."}]
    top_n=5,
)
for r in ranked["results"]:
    print(r["relevance_score"], r["document"][:60])
POST /v1/rerank
modelstringRequired客户面 model id:rerank-v3.5(Cohere)/ rerank-multilingual-v3.0 / jina-reranker-v2-base / bge-reranker-v2 / nexevo/rerank-fast / nexevo/rerank-balanced
querystringRequired检索 query / 用户问题。
documentsstring[] | object[]Required候选文档列表,通常来自 embedding 检索 top-50。可以是 string 或 {"text": "..."}
top_nintegerOptional排序后保留前 N 条。不设则全返(已排序)。
return_documentsbooleanDefault: true返回时是否包含原文。设 false 只返 index + score 节流。
选哪家 reranker?
英文最强:Cohere rerank-v3.5($0.002/call);中文最强:阿里云 BGE-reranker-v2($0.0008/call);性价比首选:Jina-v2($0.001/call)。或 nexevo/rerank-balanced 让系统按 query 自动选。

完整 RAG 流水线

把 embeddings + rerank + chat 拼起来跑:embedding 召回 → rerank 精排 → chat 答题。对比直接把全部文档塞 prompt,RAG 把 1 万篇文档的成本从 ~$5 降到 ~$0.06(差 100 倍),准确度更高。

python
# 完整 RAG 三段:embedding 召回 → rerank 精排 → chat 答题
# 总成本 ~$0.06 vs 直接塞 1 万篇文档给 chat ~$5+(差 100x)

from nexevo_ai import Nexevo
client = Nexevo()

# ── 1. 离线索引(只跑一次)──
all_docs = ["...", "...", ...]   # 1 万篇文档
emb_resp = client.embeddings.create(model="bge-m3", input=all_docs)
vectors = [d["embedding"] for d in emb_resp["data"]]
# (省略向量库存取代码 — 用 Pinecone / Milvus / pgvector 都行)

# ── 2. 用户提问时(每次请求触发)──
question = "如何重置员工 VPN?"

# 2a) embed 问题 → 检索 top-50
q_emb = client.embeddings.create(model="bge-m3", input=question)
top50 = vector_db.query(q_emb["data"][0]["embedding"], k=50)

# 2b) rerank top-50 → top-5 最相关
ranked = client.rerank.create(
    model="rerank-v3.5",
    query=question,
    documents=[d.text for d in top50],
    top_n=5,
)["results"]
top5 = [top50[r["index"]] for r in ranked]

# 2c) chat 用 top-5 答题
context = "\n\n".join(d.text for d in top5)
ans = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[
        {"role": "system",
         "content": f"基于以下材料答题(只能用这些材料,不要编):\n\n{context}"},
        {"role": "user", "content": question},
    ],
)
print(ans.choices[0].message.content)
向量库怎么选?
本地 / 小规模:pgvector(免费,Postgres 插件)。中等规模:Qdrant / Weaviate(自托管)。规模化:Pinecone / Milvus(托管)。我们不卖向量库,所以可以选最省的方案。

Agents · Agent-as-a-Service

把高层任务交给 agent — 它自己分解步骤、调 tool、循环直到答出来。内置 tool:rag_search(用我们自家 RAG 链路)+ list_models(catalog 检索)。两种调用模式:wait=true 阻塞等结果(< 60s 推荐),wait=false 立返 task_id 客户 poll;另有 SSE 流式可实时看每步事件。

from nexevo_ai import Nexevo
client = Nexevo()

# 1) 同步模式(默认 wait=True)— 阻塞等结果,deadline 默认 120s,可调到 3600s
job = client.agents.run(
    task="找一个最便宜的中文 RAG embedding 模型,告诉我维度和单价",
    model="nexevo/balanced",        # chat brain,可换 claude / gpt-5 等
    max_steps=10,
)
print(job["result"])
# Agent 内部会:
#   step 1: chat → tool_call list_models(kind=embedding, modality 多语言)
#   step 2: tool_result 返 BGE-m3 / Jina-v3 等候选
#   step 3: chat 综合 → final_answer "BGE-m3 1024 维,$0.07/1M"

# 2) 给 RAG 任务预加载文档
job = client.agents.run(
    task="基于这些资料答:如何重置员工 VPN?",
    rag_documents=[
        "VPN 服务器列表请联系 IT 支持...",
        "重置 VPN 密码需要登录员工门户...",
        # ... 上千条
    ],
    tools=["rag_search"],
)

# 3) 异步任务(长任务推荐)
submitted = client.agents.run(task="复杂调研任务...", wait=False)
job = client.agents.run_and_wait(submitted["id"], timeout_sec=300)

# 4) Memory tools(2026-04-29 P4 v2)— LLM 主动读写工作记忆 / 长期记忆
#    任务级 memory:节点之间共享中间事实(避免 prompt 拼接爆炸)
#    tenant 级 memory:跨任务的"上次客户做过 X" 让 agent 第二次更聪明
#    工具自动注入,LLM 调用 memory_read({level:"task", key:"..."}) 即可
POST /v1/agents/run · POST /v1/agents/run/stream(SSE)
taskstringRequired用户面任务描述。Agent 内部 LLM brain 拿这个当 user message 起循环。
modelstringDefault: "nexevo/balanced"Agent 大脑(chat completion 模型)。可换 claude-opus-4-7 / gpt-5 / nexevo/fast 等。
toolsstring[]Optional启用的内置 tool 名;不填 = 全部启用。内置:rag_search / list_models / web_search / generate_image / python_exec / spawn_agent / memory_read / memory_write
max_stepsintegerDefault: 10最多循环几步;防 LLM 死循环。上限 30。
rag_documentsstring[]Optionalrag_search tool 启动时预加载的文档,内部用 BGE-m3 embed + rerank-v3.5 精排。
system_promptstringOptional覆盖默认 agent 系统提示。
waitbooleanDefault: true同步阻塞等结果(true,默认 deadline 120s,可调上限 3600s)/ 异步立返 task_id 后客户走 GET /v1/tasks/{id} poll(false,长任务推荐)。
timeout_secintegerDefault: 120wait=true 时生效,超时返当前状态(可能仍 running),客户后续 poll。上限 3600s。
enable_verifierbooleanDefault: falsefinal_answer 出来后跑 cheap-model 多维度评估(factuality / relevance / completeness / safety),overall < threshold → verifier_passed=false
verifier_thresholdfloatDefault: 0.7verifier overall 分数低于此值标 failed。建议 0.6-0.8。
max_cost_usdfloatOptional软告警上限 — 估算累计花费超此值时 emit budget_warning step,**任务继续**;真正硬门 = 账户余额。避免估算误差导致误杀。

SSE 流式 — 实时拿每步事件

python
# 流式 — 实时拿每步事件,边跑边看
for ev in client.agents.run_stream(task="..."):
    if ev["type"] == "step":
        s = ev["step"]
        if s["type"] == "tool_call":
            print(f"→ 调用 {s['tool_name']}({s['tool_input']})")
        elif s["type"] == "tool_result":
            print(f"  ← {s['tool_output']}")
        elif s["type"] == "final_answer":
            print(f"\n答:{s['content']}")
    elif ev["type"] == "done":
        print(f"\n总 token: in={ev['job']['total_tokens_in']}, out={ev['job']['total_tokens_out']}")
什么时候该用 agent?
简单一次性任务直接调 chat 即可;**多步、需要工具、需要分解**(类似 找一个 X 然后做 Y 这种)再上 agent。Agent 不便宜 — 内部循环每步都是一次 chat 调用,典型 5 步任务花 5x 单次 chat 钱。

/v1/tasks · 任务即服务 + Self-Healing v2

上面的 /v1/agents/run 是对话式 agent。/v1/tasks 是任务即服务 — 加 Planner 自动拆 DAG、Verifier 多维评分、Auto-repair 反思+重跑闭环、Partial Success 标记。Plan→Execute→Evaluate→Adjust→Loop 的完整自我修复架构,期望成功率 +20-25 pp。

POST /v1/tasks(任务即服务,Self-Healing v2)
goalstringRequired高层任务目标(替代 task)。Planner 拆 DAG 时从这里读。
deliverablesobject[]Optional结构化交付物声明:[{type:"email", target:"x@y.com"}] 或 webhook。
budget_usdfloatOptional任务级软告警预算(同 max_cost_usd 语义)。
deadline_secintegerDefault: 120任务超时;wait=true 时是同步上限,wait=false 时是后台执行上限。≥10、≤3600。
enable_plannerbooleanDefault: false用便宜 model(nexevo/fast 默认)拆 NL goal → DAG plan,executor 按图并行调度。复杂任务质量提升明显。
planner_modelstringDefault: "nexevo/fast"Planner 用什么模型(便宜模型够,通常无需改)。
planner_n_candidatesintegerDefault: 1并行生成 N 个候选 plan + 启发评分选优(节点数 / aggregate 唯一性 / tool_call 存在 / 引用合法)。1 单跑 / 2-5 多样性。
auto_repair_max_roundsintegerDefault: 0**Self-Healing**:verifier 失败时 → cheap-LLM 反思根因 → 重新 plan + 局部 re-run(checkpoint 复用成功节点)。0 关 / 1-3 启用。期望成功率 +20-25 pp。
autonomy_level"L1" | "L2" | "L3"Default: "L3"L1 启动前一次性确认 / L2 副作用工具(email / webhook / mcp:slack:*)调用前确认 / L3 完全托管。
python
from nexevo_ai import Nexevo
client = Nexevo()

# Self-Healing v2 — 任务自我修复闭环(Plan → Execute → Evaluate → Adjust)
result = client.tasks.submit(
    goal="调研 2025 Q2 全球生成式视频生成 Top 5 厂商,输出对比表(ARR/客户/技术亮点)",
    enable_planner=True,
    planner_n_candidates=3,         # 并行生成 3 个候选 plan,启发选优
    auto_repair_max_rounds=2,       # verifier 失败 → 反思 + 重 plan 最多 2 轮
    deadline_sec=600,               # 长任务给充裕时间
    wait=True,                       # 阻塞拿结果(或 wait=False 异步 poll)
    deliverables=[{"type": "email", "target": "you@company.com"}],
)

# response 含:plan(实际跑的)+ deliverables + verifier 多维分 + partial 标记
print(result["plan"]["nodes"])                  # 看 agent 怎么拆的
print(result["deliverables"][0]["content"])     # 主答
print(result["deliverables"][0]["metadata"])    # verifier 多维分
if result["partial"]:
    print("部分成功节点:", result["succeeded_node_ids"])
    print("失败节点:",   result["failed_node_ids"])
💾 Memory 系统(2026-04-29 新增)
两层 memory 自动注入:**任务级 working memory**(节点之间共享中间事实,避免 prompt 越拼越长)+ **tenant 级 long-term memory**(跨任务记忆,上次客户做过的事下次不用从头想)。LLM 通过内置 memory_read / memory_write tool 主动读写,scope 由后端按 api_key 强绑定,不串别 tenant。

对话历史

可选模块,用于 chat UI 的后端持久化。每个 conversation 是一个有标题/元数据的容器,append message 不触发 LLM 仅做持久化(配合 chat completions 使用)。完整 CRUD + 消息追加。

python
conv = client.conversations.create(title="My Session")
client.conversations.append_message(
    conv["conversation_id"], role="user", content="Hello!",
)
all_convs = client.conversations.list(limit=20)
detail = client.conversations.get(conv["conversation_id"])
POST /conversations
titlestringOptional对话标题。可后续 update。
metadataobjectOptional任意 JSON,关联你自己的 user_id / session_id / topic 等。最大 4KB。
POST /conversations/{id}/messages
role"user" | "assistant" | "system" | "tool"Required消息角色。
contentstringRequired消息文本。注意:此 endpoint 只持久化,不触发 LLM。

账号管理

注册/登录/密码重置/2FA/资料编辑/GDPR 自助停用。多数 endpoint 面向 web 应用流程;后端集成只需 me() / change-password / 2FA。所有受保护 endpoint 走 Bearer token。

python
me = client.auth.me()
client.auth.update_profile(full_name="Jane Doe")
client.auth.change_password(
    current_password="old-pwd",
    new_password="new-pwd-123",
)
status = client.auth.two_fa_status()

API Key 管理

动态创建/吊销 API key,可设置月度消费上限(monthly_spend_cap_usd)、超阈值告警 webhook(HTTPS only)、地理路由策略(cn-only / overseas-only / any)。create() 返回 full_key 仅一次,务必保存。

full_key 只显示一次
create() 返回的 full_key 是 sk-xc-... 完整字符串,Nexevo 永不再次显示(只存哈希)。务必在创建时立即保存到密钥管理器或 .env 文件,丢失只能撤销并重建。
python
new = client.keys.create(name="prod-2026")
print(new["full_key"])  # 只此一次显示

client.keys.update_spend_cap(
    new["key"]["key_id"],
    monthly_spend_cap_usd="100",
)

client.keys.update_alert_webhook(
    new["key"]["key_id"],
    url="https://your-app.com/billing-alert",
)
POST /keys
namestringRequiredKey 显示名(用于在 dashboard 区分)。1-100 字符。
PATCH /keys/{id}/spend-cap
monthly_spend_cap_usdstringOptional月度上限 USD,字符串保留精度(如 "100.00")。超 cap 后该 key 该月所有请求被拒。
clearbooleanDefault: falsetrue = 清除当前 cap(无限额)。

账单 / 用量 / 充值

查询余额、按天用量、计费档拆分(by_tier:fast / balanced / passthrough / byok)、Stripe 充值。计费档由请求时的 model 决定 — 写 model=nexevo/fast 走 fast 扁平价,写真实模型名走 passthrough +5%。所有金额字符串保留原始精度,不要用 float 解析。

金额用字符串,别 parseFloat
所有金额(balance_usd / cost / amount_usd)都以字符串返回,保留原始精度(decimal)。直接 parseFloat 可能损失尾数,做加减改用 Decimal/BigNumber 库。
python
bal   = client.billing.balance()
usage = client.billing.usage(days=7)
plan  = client.billing.get_plan()

hint = client.billing.upgrade_hint()
if hint["hint"]:
    print(f"建议: {hint['hint']['recommend_plan']}, "
          f"可省 {hint['hint']['savings_pct']}%")

session = client.billing.checkout(
    amount_usd=20,
    idempotency_key="topup-2026-04-27-001",
)
print(session["checkout_url"])
POST /billing/topup · POST /billing/checkout
amount_usdnumberRequired充值金额 USD,> 0。
idempotency_keystringRequired幂等 key,同 key 重试不会重复扣款。建议格式:topup-YYYY-MM-DD-序号。

组织 / 多用户

企业账户的多用户管理。支持 owner / admin / developer 三种角色,成员邀请/移除/转让所有权。所有 key + billing 在组织名下共享,适合公司团队接入。

python
org = client.organizations.create("Acme Inc")

client.organizations.invite_member(
    org["organization"]["org_id"],
    email="dev@acme.com",
    role="developer",
)

members = client.organizations.list_members(org["organization"]["org_id"])

client.organizations.transfer_owner(
    org["organization"]["org_id"],
    new_owner_user_id="u_789",
)

RLHF 反馈

从 chat 响应头 X-Nexevo-Generation-Id 拿 generation_id,提交 thumbs up/down + 可选评论 + tag。反馈直接进数据飞轮,自学习路由会用它优化未来选模型。

python
resp = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[{"role": "user", "content": "Hello!"}],
)
gen_id = resp["nexevo"]["generation_id"]

client.feedback.submit(
    generation_id=gen_id,
    rating=1,
    comment="Helpful!",
    tags=["accurate"],
)

summary = client.feedback.summary(days=7)
POST /feedback
generation_idstringRequired从 chat 响应头 X-Nexevo-Generation-Id 或 SDK resp.nexevo.generation_id 拿。
rating1 | -1Required1 = 👍, -1 = 👎。
commentstringOptional可选自由文本(最多 ~2K 字符)。
tagsstring[]Optional可选标签。常用: accurate / incorrect / too_verbose / irrelevant
反馈直接进自学习路由
提交的 thumbs up/down 不只是统计 — 自学习 router(bandit + ELO)会用它实时调整未来选模型。多接反馈 = 产品质量自动改善。

错误处理

错误格式对齐 OpenAI:单个 `error` 对象包含 `message` / `type` / `code` 三个字段。常见 code: `invalid_api_key` (401)、`insufficient_balance` (402)、`rate_limit_exceeded` (429)、`tenant_monthly_quota_exceeded` (429)、`upstream_error` (502)。上游 5xx 我们会透明重试;只有所有重试都失败你才会看到最终错误。

json
{
  "error": {
    "message": "Account balance depleted. Please top up to continue.",
    "type": "insufficient_balance",
    "code": "account_suspended"
  }
}

速率限制

每 key 默认 60 RPM。超限返回 429,附 `X-RateLimit-Remaining` 和 `X-RateLimit-Reset` 头。企业方案可放宽上限——联系我们定制。

响应头

每次响应都附带实用元数据头:

X-Trace-ID请求唯一 ID,反馈问题时附上
X-Usage-Input-Tokens本次计费的输入 token 数
X-Usage-Output-Tokens本次计费的输出 token 数
X-RateLimit-Remaining当前窗口剩余请求数
X-RateLimit-Reset距窗口重置的秒数

价格

所有内部模型统一扁平价:输入 $3.00 / 百万 token,输出 $12.00 / 百万 token。缓存命中(精确 + 语义)按正常价 25% 计费。重试和对冲路径的成本由我们内部吸收——你只为最终看到的回答付费。

SDK 兼容性

因为我们暴露 OpenAI 兼容 API,大多数现有 SDK 零改动可用。只需把 base_url 指到我们的网关即可。

OpenAI 兼容 SDK

OpenAI Python
OpenAI Node.js
LangChain
LlamaIndex
Vercel AI SDK
Curl / HTTP

原生 SDK

我们维护的官方 SDK,封装了智能路由 / 余额 / RLHF 反馈等扩展能力。100% OpenAI 协议兼容。

Python
nexevo-ai · 同步 + async + RAG / generation 资源全套
安装
pip install nexevo-aiGitHub 源码
Node.js / TypeScript
@nexevo/sdk · ESM + CJS 双轨,带类型定义
安装
npm install @nexevo/sdkGitHub 源码

0 改动从 OpenAI 迁过来

保留你的 OpenAI 代码,只改两行:把 api_key 换成 NEXEVO_API_KEY,加 base_url。

迁移前
python
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["OPENAI_API_KEY"],
)

resp = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hi"}],
)
迁移后
python
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["NEXEVO_API_KEY"],
    base_url="https://api.nexevo.ai/v1",
)

resp = client.chat.completions.create(
    model="nexevo/balanced",
    messages=[{"role": "user", "content": "Hi"}],
)

下一步

API 文档 · OpenAI 兼容 /v1/chat/completions | Nexevo.ai