Når de tre AI-gigantene OpenAI, Anthropic og Googles flaggskipmodeller møtes til duell, hvem er best til å styre roboter?
Den 20. oktober publiserte RoboColiseum, et embodied arena-initiativ tatt initiativ til av nesten 20 universiteter, bedrifter og forskningsinstitusjoner verden over, blant annet Mifeng Technology, Hugging Face, NVIDIA og Tsinghua-universitetet, resultatene fra denne evalueringsrunden: Claude Opus 5.5 endte på førsteplass sammenlagt blant de fire flaggskipmodellene, tett fulgt av GPT-6 Astra.
Ser man på delområdene, leder GPT-6 Astra blant de fire flaggskipmodellene når det gjelder instruksjonsfølging og generell tilpasning til forstyrrelser, med en score på 99,35 for instruksjonsfølging; Opus presterer bedre på romforståelse og generell manipulasjon, og tok førsteplassen sammenlagt i flaggskipgruppen med lavest token-forbruk gjennom alle evalueringsrunder. I testen med forstyrret bildekvalitet ligger GPT-6.1 Sol klart bak de tre andre modellene, noe som viser forskjeller i hvor stabile ulike modeller er når visuell informasjon endres.
Men de to øverste plassene i denne rundens samlede rangering er fortsatt besatt av embodied policy-modeller, som særlig beholder sin fordel på dimensjonen generell manipulasjon.
Denne felles duellen gir bransjen en intuitiv referanse for å se styrkene og svakhetene til generelle store modeller og embodied policy-modeller.
RoboColiseum lanserer fire underrangeringer for delkapasiteter og 78 høyoppløselige simulerte evalueringsoppgaver knyttet til instruksjonsfølging, romforståelse, tilpasning til forstyrrelser og generell manipulasjon. Plattformen viser både modellenes delresultater og registrerer trinnene i oppgaveløsningen og hvor det feiler, slik at utviklere raskt kan lokalisere modellenes svake sider.
Som medinitiativtaker leverer Mifeng høyoppløselige objektressurser og simuleringsscener til RoboColiseum, støtter oppbygging av evalueringsmiljøer for komplekse robotmanipulasjonsoppgaver og gir grunnleggende ressurser for testing av modellkapasiteter under ulike objektinteraksjoner, romlige oppsett og miljøforhold.
Om modellenes resultater i simulering faktisk gjenspeiler virkelige operasjonsprestasjoner, er også avgjørende for evalueringen. Ifølge plattformens publiserte måleresultater er korrelasjonen mellom RoboColiseums simulerings evaluering og faktisk maskinutplassering 89,5 %, og forskjellen mellom samme modells evaluering i simulering og i den virkelige verden er under 10 %, noe som kan gi utviklere en referanse for modellutvelgelse og problemlokalisering før de går over til testing på ekte maskinvare.
Mifeng Technology tilbyr et dataleveransesystem som er «komplett, bra og raskt», og dekker de tre dataparadigmene ekte maskin, simulering og uten kropp. Innen simulering leverer Mifeng to typer ressurser, objektressurser og miljøressurser, som dekker mange typer hverdagsgjenstander og innendørsscener, og tilbyr også kapabiliteter som scengjenoppbygging, innhenting av ekspertbanedata og visualisering av evalueringsresultater, slik at modellteam kan gjennomføre variert trening og evaluering.
Coliseum viser opprinnelig til det gamle romerske amfiteateret, og RoboColiseum bruker dette som bilde på å bygge et flerdimensjonalt, systematisk evalueringsrammeverk og gir embodied intelligens-modeller en åpen, nøytral og reproduserbar «arena» og «treningsplass» gjennom simuleringsevaluering som i høy grad samsvarer med ytelsen på ekte maskinvare. Ethvert universitet, forskningsinstitusjon eller bedriftsutvikler kan sende inn modellen sin og gjennomgå et standardisert «eksamenssett». Siden lanseringen i august har over 100 team i inn- og utland gjennomført modelltrening og evaluering på plattformen.
RoboColiseum er nå åpent for utviklere over hele verden, og modellteam ønskes velkommen til å delta i evalueringen.
