Mistral 發布 Voxtral 3 語音模型家族,透過 Mistral API 提供,轉寫價格每分鐘 0.0035 美元起。Mistral 在北京時間 10 月 21 日 0:00 於 X 上宣布。
依發布文裡的價格表,批次轉寫的 Voxtral Mini Transcribe 3 每分鐘 0.0035 美元,Voxtral Small Transcribe 3 每分鐘 0.0040 美元,Voxtral Mini Transcribe Realtime 3 每分鐘 0.008 美元。語音合成模型 Voxtral Speech 3 的批次和即時用的是同一個 API,每百萬字元 13 美元。Mistral 稱這個價格低於 OpenAI、Deepgram、ElevenLabs 和 Google 的同類模型。
Mistral 表示,轉寫模型支援 50 種語言,其中包括 24 種歐盟官方語言,並支援上下文偏置,可以傳入關鍵詞來提高專業詞彙的辨識率。發布文說 Voxtral Small Transcribe 3 能區分錄音裡誰在說話(說話人分離),也能判斷說話人是否說完。Voxtral Mini Transcribe 3 的參數量是 4B。
Voxtral Mini Transcribe Realtime 3 面向語音 Agent,依 Mistral 的說法能在 35 種以上語言裡做到 500 毫秒以內的轉寫延遲,不過同一頁面的模型介紹卡寫的是 40 種以上。Voxtral Speech 3 支援 35 種以上語言和 50 多種方言,可以控制情緒、語速和重音,並能用 30 分鐘以上的音訊複製聲音。Mistral 文件裡把語音合成模型叫作 Voxtral TTS 3 和 Voxtral TTS Realtime 3。
這次還推出了基於 LiveKit 的語音 Agent SDK,把即時轉寫、負責推理和呼叫工具的通用模型(例如 Mistral Small)以及 Voxtral Speech 3 串成一條串流管線,Mistral 稱每一輪對話能在 1 秒內完成。Agent 可以透過 SIP 接打電話,也能透過 WebRTC 在瀏覽器和應用程式裡執行。
Mistral 表示,Voxtral 3 可以透過歐洲、美國和全球的 API 端點使用,也可以部署在客戶自己的基礎設施上。發布文沒有提到開放權重。截至北京時間 10 月 21 日 0:50,Mistral 的 Hugging Face 頁面上只有舊版 Voxtral 模型。
Artificial Analysis 在北京時間 10 月 21 日 0:53 發文說,Voxtral Small Transcribe 3 在其語音轉文字榜上以 2.1% 的 AA-WER Index 排第 3,領先 2.2% 的 ElevenLabs Scribe v2 和 2.3% 的 Grok Voice Transcribe 2.0。Voxtral Mini Transcribe 3 以 2.2% 排第 5。串流轉寫方面,Voxtral Mini Transcribe Realtime 3 在 960 毫秒設定下的最終轉寫 AA-WER 為 3.3%,在 46 個模型中排第 6;480 毫秒設定下為 3.6%。在 Provider Voice 語音合成競技場,Voxtral 3 TTS 的 Elo 為 1,218(1,599 場),在 98 個模型中排第 12。在 Controlled Voice 競技場,同一模型 Elo 為 1,068(1,614 場),在 43 個模型中排第 12。發音穩健性為 84.4%,在 32 個模型中排第 13。
