ChatGPT: The AI-Powered Robot från Microsoft

Microsofts forskare presenterade ett experimentellt ramverk förra veckan för att styra drönare och robotar genom språk med ChatGPT, en välkänd AI-språkmodell utvecklad av OpenAI.

ChatGPT kan skapa specialiserad kod som styr robotens rörelse med hjälp av kommandon som ges på naturligt språk. En människa granskar sedan resultaten och gör nödvändiga justeringar tills uppgiften är framgångsrik.

Resultaten publicerades i tidningen "ChatGPT for Robotics: Design Principles and Model Abilities", skriven av Sai Vemprala, Rogerio Bonatti, Arthur Bucker och Ashish Kapoor från Microsoft Autonomous Systems and Robotics Group.

I en demovideo visar Microsoft robotar som sätter ihop block till Microsofts logotyp med en robotarm, använder en drönare för att skanna innehållet på en hylla och använder en robot med en vision för att lokalisera föremål.

Dessa robotar verkar styras av kod skapad av ChatGPT samtidigt som de lyder mänskliga kommandon.

Forskarna lärde ChatGPT ett speciellt robotik-API så att det kunde kommunicera med robotik. ChatGPT kan generera robotikkontrollkod på samma sätt som det skulle skriva en dikt eller avsluta en uppsats när de ges instruktioner som "plocka upp bollen."

En mänsklig operatör kan utföra uppgiften och bedöma dess prestanda efter att ha granskat och redigerat koden för noggrannhet och säkerhet.

ChatGPT är inte ett autonomt system, men det påskyndar programmering av robotstyrning på detta sätt. Som det står i tidningen, "Vi betonar att användningen av ChatGPT för robotik inte är en helt automatiserad process utan snarare fungerar som ett verktyg för att öka mänsklig kapacitet.

Även om det verkar som att människor tillhandahåller majoriteten av ChatGPTs feedback (när det gäller effektiviteten eller misslyckandet av dess handlingar) i form av text, hävdar forskarna också att de har haft viss framgång med att tillhandahålla visuella data till ChatGPT.

I ett fall använde forskare ChatGPT för att instruera en robot att fånga en basketboll samtidigt som de fick feedback från en kamera. 

Forskarna konstaterade att ChatGPT kan uppskatta hur bollen och himlen kommer att se ut i kamerabilden med hjälp av SVG-kod.

Detta beteende ökar möjligheten att LLM upprätthåller en modell av världen som går bortom textbaserade sannolikheter.

Även om resultaten vid denna tidpunkt verkar rudimentära, visar de tidiga försök att införliva robotstyrning med den senaste tekniken, stora språkmodeller. 

Microsoft hävdar att ett ChatGPT-gränssnitt i framtiden kan göra robotteknik tillgänglig för en större publik.

För att hjälpa till med robotuppgifter är syftet med denna forskning att avgöra om ChatGPT kan resonera om den fysiska världen förutom text.

Vi vill göra det enklare för människor att interagera med robotar genom att ta bort behovet för dem att lära sig svåra programmeringsspråk eller detaljer om robotsystem.