平台模型与自定义语音模型
协议更新:2026-11-11。创建草稿 → 校验 → 发布 → 调用 model ID 的流程保持不变。完整请求与响应见 CustomConfig。
打开 Voice 管理 → 自定义模型,点击「创建自定义模型」。先选择基础语音型号,配置语言、音色和业务指令,再保存草稿、校验并发布;调用时使用发布后返回的 model ID。
流程、知识与语言
skills 挂载流程 Skill,knowledge_refs
挂载知识,两者分别配置。发布后知识搜索由平台执行;不需要另建 Agent
或外部 find_qa 工具。
asr_language 与 tts_language 分别从
GET /voice/v1/catalog 的
voice_models 对应型号的
input_languages、output_languages
选择;空值使用模型默认。 音色从该型号的
voices 中选择,并遵守音色的语言限制。
输入输出语言可不同。Realtime 调用已发布版本时继承语言,不通过
session.audio.language 覆盖。
两类模型共用
wss://api.latenth.com/v1/realtime?model=...。使用同一
LatenTX API Key,服务端传
Authorization: Bearer <key>。LatenTX
模型开箱即用,无需预先创建配置。
选择平台模型和音色
latentx-realtime-2.5-maxlatentx-realtime-2.5-pluslatentx-realtime-2.5-minilatentx-realtime-2.5-multilingual-maxlatentx-realtime-2.5-multilingual-mini
GET /voice/v1/voices 获取音色目录:female-default
为平台定制女声,male-steady 为沉稳男声,male-bright
为明朗男声。型号和音色 ID 是平台目录值,不代表 OpenAI 同名模型/音色。
{"type":"session.update","session":{"instructions":"你是客服,请简短回答。","audio":{"output":{"voice":"male-steady"}}}}
省略 voice 时使用所选型号的默认音色,多语言型号默认为
intl-female。支持首次音频生成前更新;首次生成音频后不允许换音色。纯文本响应不会锁定音色。本版本音色选择通过
session.update,不支持 response.create 的单轮音色覆盖。
多语言型号
多语言 Max 与 Mini
共用语言和音色目录。可配置英语(含印度英语)、印地语、乌尔都语、菲律宾语、西语等;完整可选值以对应型号的目录为准。输入与输出语言代码可能不同,例如印地语输入
hin、输出
hi;请直接使用目录返回值,不自行推导。
音色
intl-female
用于多语言型号;现有中文型号继续使用各自音色。不同语言可共享同一音色,但语言选择不承诺特定地区口音。功能验收覆盖识别、响应和音频生成,不构成口音或主观效果认证。
计费仍为文本输入、文本输出、音频输入、音频输出四项;音频输入为识别秒数
× 100,音频输出为合成字符数 × 100。多语言合成按 Unicode
字符计数。当前售价从目录中的
price 和模型与价格页面读取,实际结算以账户账单为准。
自定义模型流程
打开 Console → 自定义语音模型 → 创建 → 选择基础语音模型及配置 → 保存草稿 → 校验 → 发布。
选择 LatenTX Max、Plus、Mini 或多语言型号后,配置该型号支持的语言、音色和业务提示词。 不需要也不接受单独的 LLM、ASR、TTS 组件字段。模型已包含配套语音能力。 自定义模型不会修改平台型号,可在电话接入中绑定发布版本。 读取旧草稿时若 base_model 为空,表示原组合无法匹配;请显式选择型号后保存。 已发布版本 ID 和调用方式保持不变。
-
GET /voice/v1/catalog:读取 voice_models、voices、default_voice、prices。价格为当前基础标价,单位为对应币种/百万 tokens,以账户适用价格结算。 -
PUT /voice/v1/custom-models/support:创建或保存草稿。ID 为 1–24 位字母数字及_.-;新建 revision=0,修改必须带最新 revision,冲突返回409。
{
"revision": 0,
"config": {
"name": "售后客服",
"base_model": "latentx-realtime-2.5-mini",
"voice": "female-default",
"instructions": "回答售后问题,必要时调用工具。",
"temperature": 0.2,
"max_tokens": 2048,
"silence_duration_ms": 300,
"skills": [],
"mcp_refs": [],
"tools": []
}
}
-
POST /voice/v1/custom-models/support/validate,正文{"revision":1}。校验配置、资源归属、MCP 连通及工具兼容,返回 valid 和公开 price。无推理费用;MCP 会进行只读工具发现。校验失败返回非 2xx,客户可修正的错误带code,例如skill_inline_not_allowed(skills 内联了正文)、skill_version_not_found、voice_unavailable。没有 code 时,依次检查 Skill 引用、资源版本、语言和音色。 -
POST /voice/v1/custom-models/support/publish,正文使用最新 revision。返回 versions,其中 model 如custom-example-support-v1。使用实际返回值,不要拼接示例 ID。 每次发布产生新版本,旧版本保留。 -
GET /v1/models可发现本租户已启用版本。Key 若启用了模型限制,需在 Key 设置中显式允许新 model ID;不因已允许 Mini 自动获得所有自定义模型权限。 -
/v1/realtime?model=<返回的model>,后续事件与平台模型完全共用已支持的 Realtime GA WebSocket 子集。
管理 API 返回
{"success":true,"data":...};错误先检查非2xx HTTP 状态;错误体可能为
JSON、纯文本或空响应。完整校验属于发布前步骤;保存草稿不表示已可调用。
管理接口清单
| 方法 | 地址 | 作用 |
|---|---|---|
| GET | /voice/v1/custom-models | 本租户草稿与版本列表 |
| GET | /voice/v1/custom-models/{id} | 草稿、revision、已发布版本配置 |
| PUT | /voice/v1/custom-models/{id} | 创建/更新草稿 |
| DELETE | /voice/v1/custom-models/{id} | 删除尚无发布版本的草稿 |
| POST | /voice/v1/custom-models/{id}/validate | 校验当前草稿与资源 |
| POST | /voice/v1/custom-models/{id}/publish | 发布固定版本,必须带 revision |
| DELETE | /voice/v1/custom-models/{id}/versions/{version} | 停用版本;拒绝新连接,活动会话继续 |
| GET | /voice/v1/voices | 公共音色目录 |
| GET | /voice/v1/catalog | 平台语音模型、语言、音色及基础价格 |
| GET | /v1/models | Key 可访问的模型列表 |
以上管理接口共用既有 Key 和租户归属,调用记录进入 Admin API 日志。不新增功能级 Key。
配置覆盖与资源
发布配置是会话默认值:instructions、音色、VAD、Skill 和 tools。会话内显式传入 instructions 或 tools 会覆盖对应默认值;单轮 instructions/tools 按既有规则生效。运行中的 model 和组件组合不可切换。
-
Skill:先用
PUT /voice/v1/skills/{id}/versions/{version}保存流程 Skill 正文,再在 config.skills 填固定版本引用,如{"id":"support","version":"v1","preload":true}。自定义模型不接受内联 markdown、resources 或 required_tools:草稿可以保存,但校验会返回 400。内联正文只用于 Realtime 会话的 session.latentx.skills。发布时固化内容,后续资源库修改不改变旧版本。 - MCP:config.mcp_refs 填当前租户资源 ID。发布固化 URL、白名单与凭据,执行仍访问真实服务;变更凭据需要重新发布。凭据不返回 Console 或 Realtime 事件。
- Function:config.tools 使用 Realtime function 定义;客户收到 function_call 后执行并回传 function_call_output。
- 动态调用仍可通过标准 tools 传 Function/MCP,通过 session.latentx 传 Skill/资源引用。Skill 与资源引用是 LatenTX 扩展。
- MCP 初始化会发送工具发现事件,随后 session.updated 展示默认 tools。客户端收到完成的 session.updated 后开始业务输入更便于排查;服务端会按序处理已排队请求。
所选语音模型与客户参数固定在发布版本中;发布不锁定调用价格。调用时请使用已发布版本的模型 ID;修改草稿不会自动替换已发布配置。
计费与兼容范围
四类 usage 分别记录全量文本输入、文本输出、音频输入和音频输出。识别音频的计量秒数×100 折为输入 audio tokens;合成字符数×100 折为输出 audio tokens。此为平台计费单位映射,不是 OpenAI 音频 tokenizer。默认从 response.done 读取响应用量;显式选择 transcription 模式后,转写完成事件单列音频输入,即使没有模型回复也可产生用量。见计量模式与示例。
自定义模型沿用所选 LatenTX 语音型号的销售价格, 客户不能在配置中填写任意低价档位。请求、响应和消费日志保留自定义 model ID。
兼容范围见 Realtime API。本平台提供独立的网页通话 SDK 和电话入口;它们使用 Voice 管理 API 签发凭证,不是 OpenAI 原生 WebRTC/SIP/client_secrets 接口。平台模型和自定义模型共用已实现的协议子集,不宣称全字段支持。