A Paragraph is All It Takes: Rich Robot Behaviors from Interacting, Trusted LLMs

要約

大規模言語モデル (LLM) は、私たちの物理環境と動物と人間の行動に関するすべての公開知識をコンパクトに表現したものです。
LLM をロボット工学に適用すると、限られた調整、またはまったく調整しなくても、ほとんどの人間のタスクを適切に実行できる高機能ロボットへの道が提供される可能性があります。
ますます洗練される推論とタスク計画とは別に、（適切に設計された）LLM のネットワークにより、機能のアップグレードが容易になり、人間がロボットの思考を直接観察できるようになります。
ここでは、LLM を使用して物理ロボットを制御することの利点、制限、および特殊性について検討します。
基本システムは、Web ソケットと ROS2 メッセージ パッシングを介して実装された人間の言語データ バスを介して通信する 4 つの LLM で構成されます。
驚くべきことに、ロボットのデータ融合サイクルがわずか 1Hz で実行され、中央データ バスが人間の脳の非常に限られた速度である約 40 ビット/秒で実行されているにもかかわらず、さまざまなタスクにわたって豊かなロボットの動作と良好なパフォーマンスを達成できました。
LLM 間のコミュニケーションに自然言語を使用することで、ロボットの推論と意思決定を人間が直接観察できるようになり、平易な英語で書かれた一連のルールによってシステムの動作にバイアスをかけることが簡単になりました。
これらのルールは、検閲に耐性のあるグローバルかつ公共のチューリング完全コンピューターであるイーサリアムに不変に書き込まれました。
私たちは、対話する AI 間のデータ バスとして自然言語を使用し、動作の制約を保存する不変の公開台帳を使用することで、予想外の優れたパフォーマンス、アップグレード可能性、および人間との耐久性のある連携を組み合わせたロボットを構築できることを提案します。

要約(オリジナル)

Large Language Models (LLMs) are compact representations of all public knowledge of our physical environment and animal and human behaviors. The application of LLMs to robotics may offer a path to highly capable robots that perform well across most human tasks with limited or even zero tuning. Aside from increasingly sophisticated reasoning and task planning, networks of (suitably designed) LLMs offer ease of upgrading capabilities and allow humans to directly observe the robot’s thinking. Here we explore the advantages, limitations, and particularities of using LLMs to control physical robots. The basic system consists of four LLMs communicating via a human language data bus implemented via web sockets and ROS2 message passing. Surprisingly, rich robot behaviors and good performance across different tasks could be achieved despite the robot’s data fusion cycle running at only 1Hz and the central data bus running at the extremely limited rates of the human brain, of around 40 bits/s. The use of natural language for inter-LLM communication allowed the robot’s reasoning and decision making to be directly observed by humans and made it trivial to bias the system’s behavior with sets of rules written in plain English. These rules were immutably written into Ethereum, a global, public, and censorship resistant Turing-complete computer. We suggest that by using natural language as the data bus among interacting AIs, and immutable public ledgers to store behavior constraints, it is possible to build robots that combine unexpectedly rich performance, upgradability, and durable alignment with humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google