LATENTX / DOCUMENTATION

平台模型与自定义语音模型

协议更新:2026-11-11。创建草稿 → 校验 → 发布 → 调用 model ID 的流程保持不变。完整请求与响应见 CustomConfig。

打开 Voice 管理 → 自定义模型,点击「创建自定义模型」。先选择基础语音型号,配置语言、音色和业务指令,再保存草稿、校验并发布;调用时使用发布后返回的 model ID。

自定义模型草稿配置:名称、语音型号、输入输出语言、音色和业务指令;内容为未保存的示例。
自定义模型草稿配置:名称、语音型号、输入输出语言、音色和业务指令;内容为未保存的示例。 · 点击图片查看大图

流程、知识与语言

skills 挂载流程 Skill,knowledge_refs 挂载知识,两者分别配置。发布后知识搜索由平台执行;不需要另建 Agent 或外部 find_qa 工具。

asr_language 与 tts_language 分别从 GET /voice/v1/catalog 的 voice_models 对应型号的 input_languages、output_languages 选择;空值使用模型默认。 音色从该型号的 voices 中选择,并遵守音色的语言限制。 输入输出语言可不同。Realtime 调用已发布版本时继承语言,不通过 session.audio.language 覆盖。

两类模型共用 wss://api.latenth.com/v1/realtime?model=...。使用同一 LatenTX API Key,服务端传 Authorization: Bearer <key>。LatenTX 模型开箱即用,无需预先创建配置。

选择平台模型和音色

GET /voice/v1/voices 获取音色目录:female-default 为平台定制女声,male-steady 为沉稳男声,male-bright 为明朗男声。型号和音色 ID 是平台目录值,不代表 OpenAI 同名模型/音色。

{"type":"session.update","session":{"instructions":"你是客服,请简短回答。","audio":{"output":{"voice":"male-steady"}}}}

省略 voice 时使用所选型号的默认音色,多语言型号默认为 intl-female。支持首次音频生成前更新;首次生成音频后不允许换音色。纯文本响应不会锁定音色。本版本音色选择通过 session.update,不支持 response.create 的单轮音色覆盖。

多语言型号

多语言 Max 与 Mini 共用语言和音色目录。可配置英语(含印度英语)、印地语、乌尔都语、菲律宾语、西语等;完整可选值以对应型号的目录为准。输入与输出语言代码可能不同,例如印地语输入 hin、输出 hi;请直接使用目录返回值,不自行推导。

音色 intl-female 用于多语言型号;现有中文型号继续使用各自音色。不同语言可共享同一音色,但语言选择不承诺特定地区口音。功能验收覆盖识别、响应和音频生成,不构成口音或主观效果认证。

计费仍为文本输入、文本输出、音频输入、音频输出四项;音频输入为识别秒数 × 100,音频输出为合成字符数 × 100。多语言合成按 Unicode 字符计数。当前售价从目录中的 price 和模型与价格页面读取,实际结算以账户账单为准。

自定义模型流程

打开 Console → 自定义语音模型 → 创建 → 选择基础语音模型及配置 → 保存草稿 → 校验 → 发布。

选择 LatenTX Max、Plus、Mini 或多语言型号后,配置该型号支持的语言、音色和业务提示词。 不需要也不接受单独的 LLM、ASR、TTS 组件字段。模型已包含配套语音能力。 自定义模型不会修改平台型号,可在电话接入中绑定发布版本。 读取旧草稿时若 base_model 为空,表示原组合无法匹配;请显式选择型号后保存。 已发布版本 ID 和调用方式保持不变。

  1. GET /voice/v1/catalog:读取 voice_models、voices、default_voice、prices。价格为当前基础标价,单位为对应币种/百万 tokens,以账户适用价格结算。
  2. PUT /voice/v1/custom-models/support:创建或保存草稿。ID 为 1–24 位字母数字及 _.-;新建 revision=0,修改必须带最新 revision,冲突返回409。
{
  "revision": 0,
  "config": {
    "name": "售后客服",
    "base_model": "latentx-realtime-2.5-mini",
    "voice": "female-default",
    "instructions": "回答售后问题,必要时调用工具。",
    "temperature": 0.2,
    "max_tokens": 2048,
    "silence_duration_ms": 300,
    "skills": [],
    "mcp_refs": [],
    "tools": []
  }
}
  1. POST /voice/v1/custom-models/support/validate,正文 {"revision":1}。校验配置、资源归属、MCP 连通及工具兼容,返回 valid 和公开 price。无推理费用;MCP 会进行只读工具发现。校验失败返回非 2xx,客户可修正的错误带 code,例如 skill_inline_not_allowed(skills 内联了正文)、skill_version_not_found、voice_unavailable。没有 code 时,依次检查 Skill 引用、资源版本、语言和音色。
  2. POST /voice/v1/custom-models/support/publish,正文使用最新 revision。返回 versions,其中 model 如 custom-example-support-v1。使用实际返回值,不要拼接示例 ID。 每次发布产生新版本,旧版本保留。
  3. GET /v1/models 可发现本租户已启用版本。Key 若启用了模型限制,需在 Key 设置中显式允许新 model ID;不因已允许 Mini 自动获得所有自定义模型权限。
  4. /v1/realtime?model=<返回的model>,后续事件与平台模型完全共用已支持的 Realtime GA WebSocket 子集。

管理 API 返回 {"success":true,"data":...};错误先检查非2xx HTTP 状态;错误体可能为 JSON、纯文本或空响应。完整校验属于发布前步骤;保存草稿不表示已可调用。

管理接口清单

方法 地址 作用
GET /voice/v1/custom-models 本租户草稿与版本列表
GET /voice/v1/custom-models/{id} 草稿、revision、已发布版本配置
PUT /voice/v1/custom-models/{id} 创建/更新草稿
DELETE /voice/v1/custom-models/{id} 删除尚无发布版本的草稿
POST /voice/v1/custom-models/{id}/validate 校验当前草稿与资源
POST /voice/v1/custom-models/{id}/publish 发布固定版本,必须带 revision
DELETE /voice/v1/custom-models/{id}/versions/{version} 停用版本;拒绝新连接,活动会话继续
GET /voice/v1/voices 公共音色目录
GET /voice/v1/catalog 平台语音模型、语言、音色及基础价格
GET /v1/models Key 可访问的模型列表

以上管理接口共用既有 Key 和租户归属,调用记录进入 Admin API 日志。不新增功能级 Key。

配置覆盖与资源

发布配置是会话默认值:instructions、音色、VAD、Skill 和 tools。会话内显式传入 instructions 或 tools 会覆盖对应默认值;单轮 instructions/tools 按既有规则生效。运行中的 model 和组件组合不可切换。

所选语音模型与客户参数固定在发布版本中;发布不锁定调用价格。调用时请使用已发布版本的模型 ID;修改草稿不会自动替换已发布配置。

计费与兼容范围

四类 usage 分别记录全量文本输入、文本输出、音频输入和音频输出。识别音频的计量秒数×100 折为输入 audio tokens;合成字符数×100 折为输出 audio tokens。此为平台计费单位映射,不是 OpenAI 音频 tokenizer。默认从 response.done 读取响应用量;显式选择 transcription 模式后,转写完成事件单列音频输入,即使没有模型回复也可产生用量。见计量模式与示例。

自定义模型沿用所选 LatenTX 语音型号的销售价格, 客户不能在配置中填写任意低价档位。请求、响应和消费日志保留自定义 model ID。

兼容范围见 Realtime API。本平台提供独立的网页通话 SDK 和电话入口;它们使用 Voice 管理 API 签发凭证,不是 OpenAI 原生 WebRTC/SIP/client_secrets 接口。平台模型和自定义模型共用已实现的协议子集,不宣称全字段支持。