Nyhet

Mistral AI lanserar Voxtral 3: modeller och SDK för röstagenter på 50+ språk

Mistral AI har presenterat Voxtral 3, en ny modellfamilj för tal-till-text och text-till-tal tillsammans med ett SDK för röstagenter. Enligt bolaget finns allt tillgängligt redan nu via Mistrals EU-hostade API eller för egen drift. Målet är agenter som kan lyssna, resonera, anropa verktyg och svara i realtid.

Det viktigaste i korthet

• Voxtral 3 är en modellfamilj för tal-till-text och text-till-tal plus ett SDK för röstagenter, från Mistral AI.

• Transkriptionsmodellen Voxtral Small Transcribe 3 stöder 50+ språk, bland dem 24 officiella EU-språk, och slår enligt Mistral Whisper, Scribe v2 och Gemini 3.5 Transcribe.

• Mini-varianten för transkription har 4 miljarder parametrar och kostar 0,0035 dollar per minut, enligt Mistral.

• Voxtral Mini TTS 3 stöder 35+ språk och 50+ dialekter och kostar 13 dollar per miljon tecken, enligt Mistral billigare än OpenAI TTS-1, Deepgram, ElevenLabs Flash och Gemini Flash.

• Voxtral Realtime Transcribe 3 ger enligt Mistral under 500 millisekunders fördröjning på över 35 språk.

• Tillgängligt via Mistrals EU-hostade API eller för egen drift på egen infrastruktur.

Vad har hänt

Mistral AI beskriver att det är svårt att bygga röstagenter som fungerar från början till slut. En pålitlig agent måste samtidigt lyssna korrekt trots olika språk, accenter, talare och avbrott, förstå vad användaren menar, tala naturligt med känsla och utföra handlingar i flera steg via anslutna system. Voxtral 3 ska lösa det genom att samla lyssnande, resonerande, verktygsanrop och tal i en enda strömmande realtidskedja. Agenter kan enligt bolaget hämta information, använda affärssystem och slutföra uppgifter under pågående samtal i telefon eller på webben. Som exempel visar Mistral en agent som bokar en hudläkartid utifrån en remiss på franska. Agenten slår upp remissens referensnummer, översätter innehållet, bokar tid och lovar skicka detaljerna på engelska.

Transkriptionsmodellen Voxtral Small Transcribe 3 hanterar diarisering, alltså vem som sagt vad, och kontextbiasering, där nyckelord eller fritext ges till modellen för att förbättra igenkänningen av facktermer utan finjustering. Den förutser också när en användare har pratat klart, med både akustisk och semantisk information, så att agenten kan svara utan dröjsmål och sällan klippa av någon i onödan. Språklistan har enligt Mistral utökats till 50, inklusive låga resurs-språk från Asien och Indien. Mistral hävdar toppresultat i diarisering och flerspråkig transkription, även på engelska, franska och spanska. Mini-varianten har 4 miljarder parametrar. Voxtral Realtime Transcribe 3 är byggd för agentanvändning och stöder diarisering och kontextbiasering.

Talsyntesmodellen Voxtral Mini TTS 3 finns för batch- och realtidsanvändning. Nya röster anpassar känsla, tempo och betoning efter samtalets sammanhang, och användaren kan styra detta med instruktioner. Bland nyheterna nämns röstkloning från 30+ minuters ljud, kontextstyrd talsyntes och ett ordförråd för uttal. För professionella behov erbjuds Pro Voice, som enligt Mistral återger talarens karaktär, känsloregister och talstil över språkgränser med bara 30 minuters ljud. Mistral redovisar jämförelser mot konkurrenter i bland annat uttalskontroll, siffror och namn, där en domare-modell (gemini-3.8-flash) användes i flera interna tester.

Mistral lyfter fram suverän drift: organisationer kan själva styra var ljud behandlas, hur data hanteras och om samtal sparas. Användningsområden är kundtjänst, servicedeskar, virtuella assistenter och handsfree-copiloter.

Vad det betyder för dig i Sverige

Svenska ingår i listan över de 45 språk som användes i bolagets flerspråkiga transkriptionstest (FLEURS), vilket tyder på att svenska omfattas av den större transkriptionsmodellen. Svenska finns däremot inte med i listan över de 35 språk som realtidsmodellen testades på. Att modellerna kan köras i EU-hostat API eller på egen infrastruktur kan vara relevant för svenska organisationer som vill kontrollera var ljuddata hanteras. Priserna anges i dollar.

Det här vet vi inte än

• Vilka språk talsyntesen stöder utöver de som visas i exemplen, och om svenska ingår, framgår inte.

• Om realtidsmodellen stöder svenska är inte känt.

• Priser för Small-versionen av transkriptionsmodellen, för realtidsmodellen och för SDK:t anges inte.

• Prestandapåståendena bygger till stor del på Mistrals egna tester och är inte oberoende granskade.

• Pris och villkor i svenska kronor, samt eventuella svenska kundexempel, är inte kända.