Nyhet

Dharma-AI:s VocabX sänker inferenskostnaden med 77 procent för Qwen3-4B-baserad uppsatsrättare

Dharma-AI presenterade den 21 oktober 2026 på Hugging Face de första resultaten från VocabX, en metod som anpassar en språkmodells ordförråd efter vad varje token kostar. Enligt bolaget sjönk den uppmätta inferenskostnaden med 77 procent för en portugisisk uppsatsrättare baserad på Qwen3-4B, utan att basmodellen byttes ut.

Det viktigaste i korthet

• VocabX är en metod från Dharma-AI för att specialisera ordförrådet i små språkmodeller. Den vetenskapliga artikeln är ännu inte publicerad, och siffrorna kan ändras innan dess.

• Enligt Dharma-AI minskade kostnaden för uppsatsrättaren med 77,0 procent. Mätningen gällde 500 förfrågningar på en RTX 5090 med inferensservern vLLM.

• Modellens svar kortades från i snitt 350 till 101 tokens.

• Kvalitetsmåttet bench score steg enligt bolaget från 0,703 till 0,810.

• Modellens utmatningslager minskade från cirka 152 000 till cirka 65 000 rader.

• I det uppmätta fallet kostar en genererad token 7,4 gånger så mycket som en läst token.

Vad har hänt

Dharma-AI driver i produktion en automatisk rättare av portugisiska uppsatser, byggd på Qwen3-4B med 4 miljarder parametrar. Modellen får uppsatsen, uppgiften och stödtexterna och returnerar en JSON-bedömning med betyg och kommentar för varje kompetens. Modellen var redan liten och uppgiftstränad, men använde fortfarande Qwen3-4B:s ursprungliga tokenizer. Den är byggd för många språk och texttyper, medan rättaren bara använder portugisiska och ett enda svarsformat.

Enligt Dharma-AI ger det två sorters slöseri. Det första är fragmentering: samma JSON-ram, kompetensnamn och bedömningsfraser delas upp i många tokens vid varje förfrågan. Det andra är överskott: modellen beräknar poäng för ett ordförråd på 151 669 poster vid varje genererad token, trots att uppgiften nästan aldrig använder många av dem.

Bolaget lyfter fram att det inte räcker att räkna tokens. Vid inferens läser modellen först hela indata i ett svep (prefill), medan svaret genereras token för token (decode) och då begränsas av minnesbandbredd. En genererad token kostar därför mer än en läst. I rättaren var förhållandet 7,4 gånger, men bolaget påpekar att det varierar med hårdvara, batchstorlek och kontextlängd. Dessutom läser modellens sista lager, LM head, hela sin matris för varje genererad token. I en modell av Qwen3-4B:s storlek utgör den nästan 10 procent av parametrarna.

VocabX väljer tokens efter sparad kostnad och tid, inte efter frekvens. Varje sparad token vägs mot priset för det fält där den förekommer: systemprompt, användarmeddelande eller svar. Metoden arbetar också på två nivåer samtidigt. På delordsnivån byggs ordförrådet om, och på flerordsnivån slås återkommande sekvenser, från korta uttryck till hela rader och JSON-ramar, ihop till så kallade makrotokens. Fem automatiska sökare letar efter olika sorters upprepningar. Utan alla fem skulle tokenminskningen i rättaren enligt bolaget bli 55,6 poäng lägre.

VocabX uppskattar dessutom statistiskt hur mycket kandidater som inte syns i ett stickprov skulle spara, i stället för att ge dem noll. På ett avtalskorpus höjde det enbart tokenminskningen från 44,7 till 52,8 procent.

För att mäta effekten tränade Dharma-AI sju versioner av rättaren med samma basmodell, data, recept och seed. Bara tokenizern skilde dem åt. Den första versionen smälte ihop varje betyg med omgivande JSON i en makrotoken, och kvaliteten föll då till 0,689. När betyget fick en egen token blev svaret två tokens längre, kvaliteten steg till 0,810 och kostnadsminskningen blev 77,0 procent, jämfört med 73,3 procent för den hopsmälta versionen. Bolagets slutsats är att komprimering kostar när den komprimerade sekvensen innehåller själva beslutet modellen ska fatta.

VocabX jämfördes också med tre referensmetoder (FVT, MWT och in-place BPE) på fem publika domäner och tre modellfamiljer: Qwen3, Llama-3.1 och Gemma-3. Enligt Dharma-AI komprimerade VocabX mer än den starkaste referensmetoden i alla femton kombinationer, med 1,2 till 9,3 poäng. På avtal nådde den beskurna versionen 62,6 procents tokenminskning med 113 426 poster, mot 61,8 procent och 207 803 poster för bästa in-place BPE-konfiguration.

Vad det betyder för dig i Sverige

Källan nämner ingenting om svensk tillgänglighet, svenska språket eller svenska användare. Resultaten gäller en portugisisk uppsatsrättare och mätningar på avtal, medicinska och vetenskapliga artiklar, nyheter och Python-kod. Metoden riktar sig enligt Dharma-AI till team som finjusterar öppna modeller som Qwen och Gemma för en enskild domän eller uppgift. För sådana team pekar bolaget ut tokenizern som en kostnadsfaktor som ofta lämnas orörd. Hur väl metoden fungerar för svenska eller för svenska verksamheter är inte redovisat.

Det här vet vi inte än

• Artikeln VocabX: Cost-Weighted Vocabulary Adaptation for Domain-Specific Language Models är under granskning och inte publicerad. Bolaget skriver att siffrorna kan ändras.

• Det är inte angivet när den fullständiga artikeln, med alla tabeller och förkastade experiment, publiceras. Bolaget säger bara att det sker snart.

• Källan anger inte om VocabX eller de specialiserade modellerna släpps som öppen kod eller kan laddas ned.

• Kostnadsminskningen på 77 procent gäller ett uppmätt fall, med en viss GPU och 500 förfrågningar. Förhållandet 7,4 gånger mellan genererad och läst token kan enligt bolaget vara större på annan hårdvara eller i andra upplägg.

• Det finns inga uppgifter om effekt på svenska eller andra språk än portugisiska, och inga prisuppgifter i kronor.