Nyhet

Ai2 lanserar ToyBlocks: öppen simulering för att forska om hur robotar lär sig

Forskningsinstitutet Ai2 presenterade den 6 november 2026 ToyBlocks, en öppen simulering med en robotarm och klossar på ett bord. Miljön är den första i ett nytt ramverk, FoundationWorlds, som ska låta forskare ändra träningsdata eller modelldesign, upprepa tester och spåra orsaken när en robot misslyckas.

Det viktigaste i korthet

• ToyBlocks är den första "FoundationWorld" från Ai2: en öppen simulering med robotarm och klossar där roboten ska skjuta, vända och stapla.

• Träningsdemonstrationer genereras automatiskt, utan teleoperation där en människa styr roboten på distans.

• Enligt Ai2 körs hundratals planer parallellt på en enda GPU, upp till 24 gånger snabbare än realtid.

• Färdighetsträningen sker i Nvidias Isaac Lab med förstärkningsinlärning och rörelseplanering.

• I Ai2:s första tester generaliserar populära handlingsmodeller som ManiFlow, π0.5 och MolmoAct 2 dåligt.

• Publicerades den 6 november 2026; länkar till kod, data, modeller och dokumentation finns i blogginlägget.

Vad har hänt

Ai2 skriver att många robotdemonstrationer, som att vika tvätt eller sortera delar, är snäva och inte förklarar vad roboten har lärt sig eller varför den misslyckas. Därför vill Ai2 ge robotforskningen kontrollerade miljöer, ungefär som en petriskål inom biologin. Varje FoundationWorld kombinerar en simulerad värld för en viss miljö med verktyg som automatiskt skapar uppgifter och träningsdemonstrationer samt mått som följer robotens beteende över tid.

ToyBlocks är den första miljön. Roboten måste resonera om hur klossarna påverkar varandra och hur de ska ordnas. Klossarnas sidor har bilder och bokstäver, så uppgifterna kan gälla att söka, sortera och arrangera. Ibland måste roboten vända en kloss för att se en dold sida. Med domänrandomisering varieras bland annat klossarnas storlek och bordets höjd, för att testa hur väl modeller klarar ändrad geometri.

Ai2 anger fyra krav: realistisk fysik och utseende, automatisk generering av uppgifter och demonstrationer i stor skala, utmaningar som kombinerar resonemang och finmotorik samt bred täckning av möjliga uppgifter. Enligt Ai2 går detta bara att uppfylla i en så snäv domän. Bygget vilar på tidigare öppna arbeten: MolmoAct 2, MolmoBot och MolmoSpaces.

Färdigheter som att skjuta en kloss över bordet eller vända den utan att plocka upp den tränas med förstärkningsinlärning och rörelseplanering i Isaac Lab. Simulatorn kan använda privilegierad information, till exempel klossens exakta position, som en riktig robot inte har. En planerare (TAMP) väljer sedan och sekvenserar färdigheterna och skapar märkta demonstrationer. Modellerna tränas ändå på råa sensordata, för att spegla verkliga förhållanden. Forskare kan styra träningsmixen, till exempel generera fler vändningar, och testa på uppgifter som hållits utanför träningen. Utvärderingen ger även mått som hastighet, krafter på objekt och uppgiftsframsteg. Via ett webbgränssnitt kan användare koppla in Claude eller en annan frontmodell och styra roboten med naturligt språk.

I ett första test, på uppgifterna Stack, Unstack, Flip och Rotate, prövades generalisering med ManiFlow, π0.5 och MolmoAct 2. Exempel: träning på stapelhöjderna 2 och 5 och test på 3 och 4, eller träning med objekt i vänstra delen av bordet och test på den högra. Trots storskalig förträning generaliserade modellerna dåligt i de första resultaten. Ai2 säger sig ha förbättrat resultaten och analyserat varje tekniks bidrag, bland annat LoRA, men menar att problemet är långt från löst.

För högnivåplanering testades Molmo 2 som planerare och ManiFlow som lågnivåmodell på att stapla bokstäver till ord som "Ai2", i tre svårighetsgrader där bokstäverna i den svåraste inte syns från start. Med agentsystem baserade på Claude Opus 5.5 och Model Context Protocol löste agenten 30 av 30 klossstaplingsuppgifter, både med textbeskrivningar och med kamerabilder i sluten loop. Ai2 noterar att frontmodeller trots god planering ofta gör perceptionsfel, till exempel en "A" som hamnade på sidan.

Vad det betyder för dig i Sverige

Blogginlägget tar inte upp Sverige, svenska forskare eller någon svensk lansering. Ai2 beskriver ToyBlocks som ett öppet ramverk och länkar till kod, data, modeller och dokumentation, så det är i första hand ett verktyg för robotforskare och utvecklare. Vilken licens som gäller och vilka krav på hårdvara som ställs framgår inte av den del av texten vi har tillgång till. För en vanlig läsare är nyheten framför allt en indikation på hur forskare försöker förklara varför robotar lyckas eller misslyckas.

Det här vet vi inte än

• Hur agenten klarade söka-och-stava-uppgiften, där hälften av scenerna saknade nödvändiga bokstäver och agenten skulle ange att uppgiften var omöjlig. Texten bryter av innan resultatet redovisas.

• De exakta siffrorna bakom generaliseringstesterna och förbättringarna.

• Licens, hårdvarukrav och eventuella kostnader.

• Hur väl resultaten från simuleringen överförs till fysiska robotar; Ai2 nämner överföring som ett studieområde men resultaten ingår inte i det vi har sett.

• Vilka ytterligare FoundationWorlds som kommer och när. Ai2 säger bara att man vill utvidga ansatsen till alltmer komplexa miljöer.