Nyhet

Mistral AI lanserar Voxtral 3: röstagenter i realtid på över 50 språk

Mistral AI har presenterat Voxtral 3, en ny modellfamilj för tal-till-text och text-till-tal samt ett SDK för röstagenter som lyssnar, resonerar, anropar verktyg och svarar i en och samma strömmande pipeline. Enligt bolaget är lösningen tillgänglig nu via Mistrals EU-hostade API eller för egen drift på den egna infrastrukturen.

Det viktigaste i korthet

• Voxtral 3 består av transkriberingsmodellerna Voxtral Small Transcribe 3 och Voxtral Mini Transcribe 3, realtidsmodellen Voxtral Realtime Transcribe 3 och talsyntesmodellen Voxtral Mini TTS 3.

• Transkribering på över 50 språk, bland annat de 24 officiella EU-språken, enligt Mistral AI.

• Mini-varianten för transkribering har 4 miljarder parametrar och kostar 0,0035 dollar per minut, enligt Mistral AI.

• Talsyntesen stöder 35+ språk och 50+ dialekter och kostar 13 dollar per miljon tecken, enligt Mistral AI.

• Realtidsmodellen når under 500 millisekunders fördröjning på över 35 språk, enligt Mistral AI.

• Tillgängligt via Mistrals EU-hostade API eller för självhosting, så att organisationer styr var ljudet behandlas och om samtal sparas.

Vad har hänt

Mistral AI beskriver att det är svårt att bygga röstagenter som fungerar från början till slut. En pålitlig agent måste samtidigt lyssna korrekt trots språk, accenter, flera talare och avbrott, förstå vad användaren menar, tala naturligt med känsla och utföra flerstegsuppgifter i anslutna system. Voxtral 3 ska lösa detta med en samlad lösning: nya tal-till-text- och text-till-talmodeller plus ett SDK som binder ihop lyssnande, resonerande, verktygsanrop och tal i realtid. Agenterna kan enligt Mistral hämta information, använda affärssystem och slutföra uppgifter under pågående samtal via telefon eller webb. Målgrupper är bland annat kundtjänst, servicedeskar, virtuella assistenter och handsfree-copiloter.

På transkriberingssidan har språkstödet enligt Mistral utökats till 50 språk, inklusive många lågresursspråk i Asien och Indien. Small-versionen uppges ge branschledande resultat för flerspråkig transkribering och talaridentifiering (vem som sa vad), bland annat på engelska, franska och spanska, och slå Whisper, Scribe v2 och Gemini 3.5 Transcribe. Båda modellerna har kontextstyrning: nyckelord och fri text kan ges till modellen för att förbättra igenkänningen av facktermer utan finjustering. Dessutom finns förutsägelse av när talaren är klar, som utnyttjar både ljud och betydelse. Det ska ge snabba svar utan att avbryta användaren i förtid.

Voxtral Realtime Transcribe 3 är byggd för agentanvändning och ska enligt Mistral ge hög kvalitet med under 500 ms fördröjning på över 35 språk, även med talaridentifiering och kontextstyrning.

Talsyntesen Voxtral Mini TTS 3 finns i batch- och realtidsläge. Rösterna anpassar känsla, tempo och betoning efter sammanhanget, och användaren kan även styra dessa explicit. Mistral hävdar att den kostar mindre än jämförbara modeller från OpenAI TTS-1, Deepgram, ElevenLabs Flash och Gemini Flash. Nytt är bland annat röstkloning från drygt 30 minuters ljud, instruktionsstyrning, kontextuell talsyntes och ett vokabulärbibliotek med uttalsstyrning via fonem. Under rubriken Pro Voice lovar Mistral att kunna återskapa en talares karaktär, känsloregister och talstil över språk med bara 30 minuter ljud.

Mistral redovisar benchmarkresultat, bland annat FLEURS, och egna utvärderingar av bland annat siffror och unika namn, där Voxtral 3 jämförs med Voxtral 1. I en demonstration hjälper en agent en uppringare att boka ett läkarbesök utifrån ett franskt remissbrev och lovar att skicka detaljerna på engelska.

Vad det betyder för dig i Sverige

Svenska ingår i den språklista som Mistral anger för flerspråkig transkribering, och bolaget uppger att alla 24 officiella EU-språk stöds. Det är relevant för svenska företag som vill transkribera samtal eller bygga röstagenter. Möjligheten att använda ett EU-hostat API eller köra modellerna på egen infrastruktur kan vara intressant för organisationer som vill kontrollera var ljud behandlas och om samtal lagras. Realtidsmodellens språklista i källan upptar däremot inte svenska. Om talsyntesen finns på svenska framgår inte.

Det här vet vi inte än

• Om talsyntesen Voxtral Mini TTS 3 stöder svenska, och om svenska ingår i realtidstranskriberingen.

• Pris för Small-varianten, för realtidsmodellen och för SDK:t. Källan anger bara priser för Mini-transkribering och talsyntes, och bara i dollar.

• Priser och villkor för självhosting och Pro Voice.

• Hur resultaten står sig i oberoende tester. Prestanda- och prisjämförelserna kommer från Mistral själv.

• Om det finns särskilda villkor eller begränsningar för kunder i Sverige.