ChatGPT: Der KI-betriebene Roboter von Microsoft

Microsoft-Forscher haben letzte Woche ein experimentelles Framework zur Steuerung von Drohnen und Robotern durch Sprache mit ChatGPT vorgestellt, einem bekannten KI-Sprachmodell, das von OpenAI entwickelt wurde.

ChatGPT kann speziellen Code erstellen, der Roboterbewegungen mit Befehlen in natürlicher Sprache steuert. Ein Mensch überprüft dann die Ergebnisse und nimmt alle notwendigen Anpassungen vor, bis die Aufgabe erfolgreich abgeschlossen ist.

Die Ergebnisse wurden in dem Artikel „ChatGPT for Robotics: Design Principles and Model Abilities“ veröffentlicht, der von Sai Vemprala, Rogerio Bonatti, Arthur Bucker und Ashish Kapoor von der Microsoft Autonomous Systems and Robotics Group verfasst wurde.

In einem Demo-Video zeigt Microsoft Roboter, die mit einem Roboterarm Blöcke zum Microsoft-Logo zusammenbauen, mit einer Drohne den Inhalt eines Regals scannen und mit einem Roboter mit Vision Objekte lokalisieren.

Diese Roboter scheinen von Code gesteuert zu werden, der von ChatGPT erstellt wurde, während sie menschlichen Befehlen gehorchen.

Die Forscher brachten ChatGPT eine spezielle Robotik-API bei, damit es mit der Robotik kommunizieren konnte. ChatGPT kann Robotersteuerungscode auf die gleiche Weise generieren, als würde es ein Gedicht schreiben oder einen Aufsatz beenden, wenn Anweisungen wie „Heb den Ball auf“ gegeben werden.

Ein menschlicher Bediener kann die Aufgabe ausführen und seine Leistung bewerten, nachdem er den Code auf Genauigkeit und Sicherheit überprüft und bearbeitet hat.

ChatGPT ist kein autonomes System, beschleunigt aber auf diese Weise die Robotersteuerungsprogrammierung. Wie in dem Papier angegeben: „Wir betonen, dass die Verwendung von ChatGPT für die Robotik kein vollständig automatisierter Prozess ist, sondern eher als Werkzeug zur Erweiterung menschlicher Kapazitäten dient.

Während es den Anschein hat, dass Menschen den Großteil des Feedbacks von ChatGPT (in Bezug auf die Effektivität oder das Scheitern seiner Aktionen) in Form von Text liefern, behaupten die Forscher auch, dass sie einige Erfolge damit hatten, ChatGPT visuelle Daten bereitzustellen.

In einem Fall verwendeten Forscher ChatGPT, um einen Roboter anzuweisen, einen Basketball zu fangen, während er Feedback von einer Kamera erhielt. 

Die Forscher gaben an, dass ChatGPT mithilfe von SVG-Code abschätzen kann, wie der Ball und der Himmel im Kamerabild erscheinen werden.

Dieses Verhalten wirft die Möglichkeit auf, dass das LLM ein Weltmodell pflegt, das über textbasierte Wahrscheinlichkeiten hinausgeht.

Obwohl die Ergebnisse zu diesem Zeitpunkt rudimentär erscheinen, zeigen sie frühe Versuche, die Robotersteuerung mit der neuesten Technologie, großen Sprachmodellen, zu integrieren. 

Microsoft behauptet, dass eine ChatGPT-Schnittstelle in Zukunft die Robotik einem größeren Publikum zugänglich machen könnte.

Um Roboteraufgaben zu unterstützen, ist das Ziel dieser Forschung festzustellen, ob ChatGPT zusätzlich zu Text über die physische Welt nachdenken kann.

Wir möchten es Menschen einfacher machen, mit Robotern zu interagieren, indem wir ihnen das Erlernen schwieriger Programmiersprachen oder Besonderheiten von Robotersystemen ersparen.