Mistral 发布 Voxtral 3 语音模型家族,通过 Mistral API 提供,转写价格每分钟 0.0035 美元起。Mistral 在北京时间 10 月 21 日 0:00 于 X 上宣布。

按发布文里的价格表,批量转写的 Voxtral Mini Transcribe 3 每分钟 0.0035 美元,Voxtral Small Transcribe 3 每分钟 0.0040 美元,Voxtral Mini Transcribe Realtime 3 每分钟 0.008 美元。语音合成模型 Voxtral Speech 3 的批量和实时用的是同一个 API,每百万字符 13 美元。Mistral 称这个价格低于 OpenAI、Deepgram、ElevenLabs 和 Google 的同类模型。

Mistral 表示,转写模型支持 50 种语言,其中包括 24 种欧盟官方语言,并支持上下文偏置,可以传入关键词来提高专业词汇的识别率。发布文说 Voxtral Small Transcribe 3 能区分录音里谁在说话(说话人分离),也能判断说话人是否说完。Voxtral Mini Transcribe 3 的参数量是 4B。

Voxtral Mini Transcribe Realtime 3 面向语音 Agent,按 Mistral 的说法能在 35 种以上语言里做到 500 毫秒以内的转写延迟,不过同一页面的模型介绍卡写的是 40 种以上。Voxtral Speech 3 支持 35 种以上语言和 50 多种方言,可以控制情绪、语速和重音,并能用 30 分钟以上的音频克隆声音。Mistral 文档里把语音合成模型叫作 Voxtral TTS 3 和 Voxtral TTS Realtime 3。

这次还推出了基于 LiveKit 的语音 Agent SDK,把实时转写、负责推理和调用工具的通用模型(比如 Mistral Small)以及 Voxtral Speech 3 串成一条流式管线,Mistral 称每一轮对话能在 1 秒内完成。Agent 可以通过 SIP 接打电话,也能通过 WebRTC 在浏览器和应用里运行。

Mistral 表示,Voxtral 3 可以通过欧洲、美国和全球的 API 端点使用,也可以部署在客户自己的基础设施上。发布文没有提到开放权重。截至北京时间 10 月 21 日 0:50,Mistral 的 Hugging Face 页面上只有旧版 Voxtral 模型。

Artificial Analysis 在北京时间 10 月 21 日 0:53 发帖说,Voxtral Small Transcribe 3 在其语音转文字榜上以 2.1% 的 AA-WER Index 排第 3,领先 2.2% 的 ElevenLabs Scribe v2 和 2.3% 的 Grok Voice Transcribe 2.0。Voxtral Mini Transcribe 3 以 2.2% 排第 5。流式转写方面,Voxtral Mini Transcribe Realtime 3 在 960 毫秒设定下的最终转写 AA-WER 为 3.3%,在 46 个模型中排第 6;480 毫秒设定下为 3.6%。在 Provider Voice 语音合成竞技场,Voxtral 3 TTS 的 Elo 为 1,218(1,599 场),在 98 个模型中排第 12。在 Controlled Voice 竞技场,同一模型 Elo 为 1,068(1,614 场),在 43 个模型中排第 12。发音稳健性为 84.4%,在 32 个模型中排第 13。