LLM2Swarm: Robot Swarms that Responsively Reason, Plan, and Collaborate through LLMs

要約

ロボット群は、複雑なタスクを実行するために通信および協力する多くの単純なロボットで構成されています。
ロボット コントローラーは通常、専門家がプログラミング コードを使用してケースバイケースで指定する必要があります。
このプロセスは時間がかかり、エラーが発生しやすく、展開中に発生する可能性のあるすべての状況を考慮することはできません。
一方、最近の大規模言語モデル (LLM) は、推論と計画の機能を実証し、マシンと対話してプログラムする新しい方法を導入し、ドメイン固有の知識と常識的な知識の両方を組み込んでいます。
したがって、LLM をロボット群と統合することで前述の課題に対処し、概念実証 (ショーケース) で可能性を示すことを提案します。
この統合では、2 つのアプローチを検討します。
1 つ目のアプローチは「間接統合」です。LLM を使用してロボット コントローラーを合成および検証します。
このアプローチにより、開発時間と展開前の人的エラーが削減される可能性があります。
さらに、展開中に、新しいロボットの動作をその場で作成するために使用することもできます。
2 番目のアプローチは「直接統合」です。このアプローチでは、各ロボットが展開中に個別の LLM インスタンスをローカルで実行し、ロボット間コラボレーションや人間と群れの相互作用を実現します。
これらのローカル LLM インスタンスにより、各ロボットは自然言語を使用して推論、計画、共同作業を行うことができます。これは、異常の性質に関する事前情報がなくても、ロボットがさまざまな異常を検出できるショーケースで実証されています。
私たちの主に概念的な貢献に関するさらなる研究を可能にするために、LLM2Swarm システムのソフトウェアとビデオをリリースします (https://github.com/Pold87/LLM2Swarm)。

要約(オリジナル)

Robot swarms are composed of many simple robots that communicate and collaborate to fulfill complex tasks. Robot controllers usually need to be specified by experts on a case-by-case basis via programming code. This process is time-consuming, prone to errors, and unable to take into account all situations that may be encountered during deployment. On the other hand, recent Large Language Models (LLMs) have demonstrated reasoning and planning capabilities, introduced new ways to interact with and program machines, and incorporate both domain-specific and commonsense knowledge. Hence, we propose to address the aforementioned challenges by integrating LLMs with robot swarms and show the potential in proofs of concept (showcases). For this integration, we explore two approaches. The first approach is ‘indirect integration,’ where LLMs are used to synthesize and validate the robot controllers. This approach may reduce development time and human error before deployment. Moreover, during deployment, it could be used for on-the-fly creation of new robot behaviors. The second approach is ‘direct integration,’ where each robot locally executes a separate LLM instance during deployment for robot-robot collaboration and human-swarm interaction. These local LLM instances enable each robot to reason, plan, and collaborate using natural language, as demonstrated in our showcases where the robots are able to detect a variety of anomalies, without prior information about the nature of these anomalies. To enable further research on our mainly conceptual contribution, we release the software and videos for our LLM2Swarm system: https://github.com/Pold87/LLM2Swarm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google