Conversational Language Models for Human-in-the-Loop Multi-Robot Coordination

要約

現実世界で対話するロボットの普及と多様性が増すにつれ、柔軟で即時の計画と協力が必要になっています。
大規模言語モデルは、ロボット工学におけるコミュニケーション、調整、計画のためのマルチモーダル設定で検討され始めています。
既存のアプローチでは、通常、単一のエージェントが計画を構築するか、複数の同種のエージェントが単純なタスクを調整することを使用します。
私たちは、さまざまな能力を持つエージェントのチームがピアツーピアおよび人間とロボットのディスカッションを通じて解決策を計画する、分散型の対話型アプローチを提案します。
議論形式の対話は、協力的なチーム内で各エージェントの能力の適応的な使用を促進する効果的な方法であることを提案します。
2 台のロボットは、人間が設定した掃除の問題を解決する方法を話し合い、役割を定義し、それぞれが進む道について合意します。
各ステップは人間のアドバイザーによって中断されることがあり、エージェントは人間と計画を確認します。
次に、エージェントは現実世界でこの計画を実行し、各部屋の人々からゴミを収集します。
私たちの実装では、すべてのステップでテキストを使用し、透明性と人間と複数のロボットの効果的なインタラクションを維持します。

要約(オリジナル)

With the increasing prevalence and diversity of robots interacting in the real world, there is need for flexible, on-the-fly planning and cooperation. Large Language Models are starting to be explored in a multimodal setup for communication, coordination, and planning in robotics. Existing approaches generally use a single agent building a plan, or have multiple homogeneous agents coordinating for a simple task. We present a decentralised, dialogical approach in which a team of agents with different abilities plans solutions through peer-to-peer and human-robot discussion. We suggest that argument-style dialogues are an effective way to facilitate adaptive use of each agent’s abilities within a cooperative team. Two robots discuss how to solve a cleaning problem set by a human, define roles, and agree on paths they each take. Each step can be interrupted by a human advisor and agents check their plans with the human. Agents then execute this plan in the real world, collecting rubbish from people in each room. Our implementation uses text at every step, maintaining transparency and effective human-multi-robot interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google