Nyhet

Nvidia släpper Nemotron 3.5 Transcribe: öppen AI-modell som transkriberar 40 språk och märker talare

Nvidia har släppt Nemotron 3.5 Transcribe, en öppen och promptstyrd modell som gör inspelat tal till text, översätter, märker ut vem som talar och svarar på frågor om ljud. Modellen och datasetet Granary v2 presenterades den 28 oktober 2026 på Hugging Face och ModelScope. Enligt Nvidia toppar modellen flera rankningar bland öppna modeller.

Det viktigaste i korthet

• Nemotron 3.5 Transcribe transkriberar 40 språk, översätter 31 av dem till eller från engelska och identifierar talare på 13 språk.

• Modellen hanterar inspelningar upp till en timme och kan märka upp till åtta talare. Den är inte avsedd för direktsänd ström.

• Enligt Nvidia är den etta bland öppna modeller på Hugging Faces Open ASR Leaderboard för engelska, med 5,33 procent genomsnittligt ordfel (WER).

• Av modellens 30 miljarder parametrar är ungefär 4 miljarder aktiva per token.

• Datasetet Granary v2 omfattar 463 062 timmar tal på 48 språk, mot 25 språk i version 1.

• Modellen finns på Hugging Face och ModelScope och kan köras med vLLM eller lokalt med NeMo-Speech.cpp.

Vad har hänt

Nvidia beskriver Nemotron 3.5 Transcribe som en modell med öppna vikter som samlar transkribering, talaridentifiering (diarization), översättning och ljudfrågor i en enda checkpoint. Användaren styr resultatet med vanlig text, till exempel att transkribera och märka varje talare, översätta till engelska eller svara på vilka beslut som fattades på ett möte. För facktermer kan man i prompten ange möjliga termer, till exempel HbA1c och metformin, och be modellen använda dem bara när ljudet stöder det. Ljudfrågor är tränade på engelska, och språkstödet varierar mellan uppgifter. Ordnivåtidsstämplar stöds också. Nvidia påpekar att namn, talarbyten och svar bör kontrolleras mot inspelningen.

Enligt Nvidia ligger modellen i täten i flera jämförelser. På Open ASR Leaderboard är det 4,62 procent WER över sju språk och 10,98 procent för långa inspelningar, vilket enligt bolaget är lägst bland utvärderade öppna modeller i modellkortets jämförelse. Hos Artificial Analysis delar den förstaplatsen bland öppna modeller med 2,8 procent AA-WER, med cirka 4 miljarder aktiva parametrar mot 24 miljarder för modellen den delar plats med. På David AI:s flerspråkiga diarization-rankning har den enligt Nvidia lägst felfrekvens, 18,26 procent över 21 språk, strax före Nvidias egen Nemotron 3 Diarization på 18,38 procent. På VoiceArenas jämförelse av 14 system ligger den etta med 32,4 procent cpWER.

Modellen kombinerar en talkodare med en hybrid av Mamba och Transformer med expertblandning (mixture-of-experts). Talarsignaler från Sortformer skickas in tillsammans med ljudegenskaperna, så att talarna kan märkas medan texten genereras. Enligt Nvidia körs modellen på en enda Nvidia-GPU, från Jetson AGX Thor och DGX Spark till Blackwell-system. På ett RTX PRO 6000 Blackwell Server Edition med NVFP4 klarar den 100 timmar ljud på under tre minuter, mätt på 30 sekunders klipp. Företaget Agora har visat en demo där en inspelad lektion får transkript med tidsstämplar bredvid återuppspelningen.

Granary v2 är den öppna datapipeline som enligt Nvidia förberedde tal till träningen. Den bygger på NeMo Curator och skapar tre transkriptformer per inspelning: normaliserad ordagrann text, text med disfluenser och text utan dem. Därtill finns korta ljudbeskrivningar, frågor och svar, kontextuella termer och översättningar med automatiska kvalitetspoäng. Manifesten omfattar 16 källkorpusar. Ljudfilerna laddas ned separat under respektive licens.

I ett medicinskt fall med Eka Cares benchmark, med inspelningar från indiska läkare och läkarstudenter, sänkte en bättre prompt WER från 30,8 till 23,8 procent. Finjustering gav 11,8 procent, cirka 62 procent färre fel än utan anpassning. På talare som inte ingick i träningen minskade finjusteringen WER med 45,8 procent relativt den bästa prompten. Hela anpassningen tog enligt Nvidia cirka 14 GPU-timmar på en Nvidia GB300.

Vad det betyder för dig i Sverige

Källan säger ingenting om Sverige. Eftersom modellen och Granary v2 är öppna och ligger på Hugging Face kan i princip svenska utvecklare och organisationer pröva dem. Om svenska finns bland modellens 40 språk, eller bland Granary v2:s 48, framgår inte av källan. Det gäller även om svenska stöds för översättning eller talaridentifiering. Den som vill använda modellen för svenska möten, vård eller kundsamtal bör först läsa modellkortets matris över språk och uppgifter. Nvidia rekommenderar dessutom att man testar med en egen utvecklingsmängd och kontrollerar resultaten manuellt.

Det här vet vi inte än

Källan anger inte vilka 40 språk modellen stöder, så det är oklart om svenska ingår. Den säger inget om licensvillkor eller kostnader utöver att vikterna är öppna. Siffrorna kommer från Nvidia och de benchmarkar som bolaget hänvisar till, och bara Artificial Analys beskrivs som oberoende. Det är oklart hur modellen presterar i svenska miljöer eller på dialekter. Granary v2:s siffror beskriver enligt Nvidia datasetutgåvan, inte hela träningsmixen för Transcribe. Eftersom modellen inte är byggd för direktsändning är det okänt om en sådan variant planeras.