Nyhet
Nvidia släpper Cosmos 3 Nano: fyra öppna modeller för simulerade världar och körscenarier
Nvidia har lagt till fyra nya öppna modellvikter i sin Cosmos 3-familj, enligt ett blogginlägg publicerat på Hugging Face den 5 november 2026. Modellerna ska generera interaktiv världssimulering samt scener från flera sensorer och kameravinklar för bilkörning och robotik. Alla fyra bygger på Cosmos 3 Nano och har 16 miljarder tränbara parametrar.
Det viktigaste i korthet
• Fyra nya öppna checkpoints i Cosmos 3: Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer och Cosmos3-Nano-Sim-Bimanual.
• Alla är eftertränade exempel på Cosmos 3 Nano med 16 miljarder tränbara parametrar.
• Licensen är OpenMDW1.1, som enligt källan tillåter kommersiell och icke-kommersiell användning på licensens villkor.
• Transfer-Auto genererar synkroniserad video från upp till 11 kameravyer, inklusive fisheye, och kan skapa RGB och LiDAR tillsammans.
• Sim-Bimanual stöder tvåarmade robotar av typen YAM och AgiBot och styrs av en policy eller joysticks.
• Checkpointsen kan laddas ner via Hugging Face, och Nvidia publicerar även recept för vidareträning.
Vad har hänt
Nvidia har utökat plattformen Cosmos för världsmodeller med fyra checkpoints. De är tänkta för forskare och utvecklare som vill bygga simulerade miljöer för autonom körning och robotik.
Transfer-Auto är en dubbelriktad modell för att skapa syntetisk körningsdata offline. Scenstruktur och trafikrörelser styrs med så kallade World Scenario Map-kontroller (WSM) per kamera, medan textprompter styr utseendet. Utvecklare kan variera väder, ljus och tid på dygnet för att bredda tränings- och utvärderingsunderlaget. Valfria startbilder kan förankra scenens utseende. För LiDAR krävs dessutom linjerade kontroller från HD-kartor. Modellen är också tänkt som utgångspunkt för att anpassa Cosmos till egen sensoruppsättning och egen miljö.
Sim-Auto är en kausalt destillerad strömmande variant av Transfer-Auto. Den skapar små bitar av synkroniserad kameravideo och LiDAR i bara några brusreduceringssteg, med hjälp av genererad historik och uppdaterade körkontroller. Källan påpekar att sluten återkoppling kräver en simuleringsmiljö och en WSM-renderare. För ny sensoruppsättning ska man först anpassa Transfer-Auto och sedan destillera den till Sim-Auto.
Sim-Transfer gör om kontroller från en fysiksimulator till fotorealistisk video. Djup, segmentering, kanter och oskärpa kan användas som styrsignaler tillsammans med en text. Fysik och sanningsdata ligger kvar i simulatorn.
Sim-Bimanual förutsäger nästa observation direkt från scenen och robotens handlingar. Man startar med en bild, rör roboten eller kameran och får nya bilder. Exemplet med blandade handlingar använder 59 kontrollvärden, utfyllda till 64 under träning. Enligt källan testades den publicerade vLLM-Omni-uppsättningen på en GB200, vilket inte är ett minimikrav. Linux, ett Nvidia-grafikkort, Docker och Nvidia Container Toolkit krävs.
Strömmande generering bygger på Cosmos 3:s Mixture-of-Transformers-arkitektur. Modellen arbetar med komprimerade videorepresentationer, där varje tidssteg efter startbilden motsvarar fyra RGB-bilder. Träningen sker i fyra steg: dubbelriktad anpassning, teacher forcing, konsistensdestillering (fyra brusreduceringssteg per bit) och self-forcing, som tränar på modellens egen genererade historik för att motverka att fel ackumuleras.
Nvidia lyfter fram öppna vikter och träningsrecept som en gemensam startpunkt för att anpassa modeller, jämföra metoder och bidra med förbättringar.
Vad det betyder för dig i Sverige
Källan nämner ingen svensk koppling och inga särskilda villkor för Sverige. Checkpointsen publiceras öppet på Hugging Face, och licensen OpenMDW1.1 tillåter enligt Nvidia både kommersiell och icke-kommersiell användning på licensens villkor. Svenska utvecklare, bilbranschens leverantörer och robotikforskare kan därmed granska licensen och själva bedöma om modellerna passar. Körning kräver dock Linux och ett Nvidia-grafikkort.
Det här vet vi inte än
Källan redovisar inga mätvärden för hur väl modellerna fungerar. Nvidia skriver själva att problemen fortfarande är svåra och att det återstår att mäta var modellerna på ett trovärdigt sätt stöder policyinlärning och utvärdering, förstå deras begränsningar och förbättra där de brister. Vilken minimimängd minne eller beräkning som krävs framgår inte. Det gör inte heller kostnaden för att köra eller efterträna modellerna. Källan säger inget om när eller hur modellerna används i skarpa projekt, och inget om tillgänglighet eller användning specifikt i Sverige.