nyhet
Open source-verktyget Lowfat kapar 91,8 % av LLM-tokens med smart CLI-filtrering
Det nyligen publicerade open source-verktyget Lowfat kan kapa upp till 91,8 procent av de tokens som annars skickas till en språkmodell – utan att modellens svar försämras. Verktyget riktar sig till utvecklingsteam som kör AI-agenter i produktion och vill sänka både kostnad och svarstid.
Vad har hänt
Utvecklaren bakom GitHub-kontot zdk publicerade den 6 juni 2026 projektet Lowfat på GitHub under en öppen licens. Verktyget fungerar som ett pluggbart CLI-filter som sätts in i pipeline-steget innan en prompt skickas till en språkmodell som exempelvis GPT-4o eller Claude 3.5. Lowfat analyserar den sammansatta kontexten – loggfiler, kodsnuttar, dokumentation och tidigare konversationshistorik – och rensar bort avsnitt som bedöms irrelevanta för den aktuella frågeställningen. I egna mätningar som redovisas i projektets README uppnådde verktyget en tokenminskning på 91,8 procent på ett representativt testset utan att kvaliteten på modellsvaren sjönk mätbart. Filtreringen sker lokalt i CLI-steget vilket innebär att ingen data behöver skickas till en tredjepartstjänst enbart för komprimering.
Vad det betyder
För team som använder AI-agenter i produktion är tokenkostnad en av de mest direkta utgiftsposterna. En minskning på nära 92 procent innebär i praktiken att samma LLM-budget räcker nästan tolv gånger längre, eller att svarstiden kortas dramatiskt när modellen får bearbeta en bråkdel av den ursprungliga texten. Lowfat är pluggbart, vilket betyder att det kan integreras i befintliga LLMOps-flöden oavsett om teamet använder LangChain, LlamaIndex eller egenutvecklade orkestreringsverktyg. Att filtreringen körs lokalt adresserar också dataskyddsfrågor som annars kan uppstå vid hantering av känslig företagsinformation – något som är relevant mot bakgrund av EU:s AI-förordning och IMY:s vägledningar kring personuppgiftsbehandling i AI-system. Projektet har redan fått uppmärksamhet på Hacker News under rubriken 'Show HN: Lowfat – pluggable CLI filter that saved 91.8% of my LLM tokens', och flera kommentatorer efterfrågar stöd för fler modell-API:er samt benchmarks mot alternativa komprimeringsmetoder som LLMLingua.