ChatGPT: Microsoft による AI 搭載ロボット

Microsoftの研究者らは先週、OpenAIが開発した有名なAI言語モデルであるChatGPTを使った言語を通じてドローンやロボットを制御する実験的なフレームワークを発表した。

ChatGPT は、自然言語で与えられたコマンドを使用してロボットの動作を指示する特殊なコードを作成できます。次に、人間が結果を確認し、タスクが正常に完了するまで必要な調整を行います。

この調査結果は、Microsoft Autonomous Systems and Robotics Group の Sai Vemprala、Rogerio Bonatti、Arthur Bucker、Ashish Kapoor が執筆した論文「ChatGPT for Robotics: Design Principles and Model Abilities」で発表されました。

マイクロソフトはデモビデオで、ロボットがロボットアームを使ってマイクロソフトのロゴにブロックを組み立てたり、ドローンを使って棚の中身をスキャンしたり、ビジョンを備えたロボットを使って物体の位置を特定したりする様子を示している。

これらのロボットは、人間のコマンドに従いながら、ChatGPT によって作成されたコードによって制御されているようです。

研究者らは、ChatGPT に特別なロボット API を教えて、ロボットと通信できるようにしました。 ChatGPT は、「ボールを拾いなさい」などの指示が与えられたときに、詩を書いたりエッセイを仕上げたりするのと同じ方法でロボット制御コードを生成できます。

人間のオペレーターがタスクを実行し、コードの精度と安全性を確認および編集した後、そのパフォーマンスを評価できます。

ChatGPT は自律システムではありませんが、この方法でロボット制御プログラミングを高速化します。論文に記載されているように、「ロボット工学への ChatGPT の使用は完全に自動化されたプロセスではなく、むしろ人間の能力を増強するツールとして機能することを強調します。

ChatGPT のフィードバック (アクションの有効性または失敗に関する) の大部分は人間がテキスト形式で提供しているようですが、研究者らはまた、ChatGPT に視覚データを提供することにある程度の成功を収めたと主張しています。

ある例では、研究者は ChatGPT を使用して、カメラからのフィードバックを受け取りながらロボットにバスケットボールをキャッチするように指示しました。 

研究者らは、ChatGPT は SVG コードを使用してカメラ画像内でボールと空がどのように表示されるかを推定できると述べています。

この動作により、LLM がテキストベースの確率を超えた世界のモデルを維持している可能性が高まります。

現時点での成果は初歩的なものに見えますが、ロボット制御と最新技術である大規模言語モデルを組み込む初期の試みを示しています。 

Microsoft は、ChatGPT インターフェイスにより、将来的にはより多くのユーザーがロボット工学にアクセスできるようになる可能性があると主張しています。

ロボットタスクを支援するために、この研究の目的は、ChatGPT がテキストに加えて物理世界について推論できるかどうかを判断することです。

私たちは、人々が難しいプログラミング言語やロボット システムの詳細を学ぶ必要をなくすことで、ロボットとの対話をより簡単にしたいと考えています。