Leveraging Large Language Model for Heterogeneous Ad Hoc Teamwork Collaboration

要約

広く研究されている同種のマルチロボットのコラボレーションと比較して、異なる機能を持つ異種のロボットは、より複雑なタスクに対してより効率的で柔軟なコラボレーションを提供できます。
この論文では、アドホック ロボットが共通の目標に向けて既存の異種チームに参加する、より困難な異種アドホック チームワーク コラボレーション問題について考察します。
具体的には、アドホックロボットは事前の調整なしに未知のチームメイトと協力し、適切な協力方針を生成してチーム全体の効率を向上させることが期待されます。
この困難な問題を解決するために、私たちは大規模言語モデル (LLM) の顕著な可能性を活用して、分散型異種アドホック チームワーク コラボレーション フレームワークを確立します。このフレームワークは、アドホック ロボットが元の異種チームメイトと協力するための合理的なポリシーを生成することに重点を置いています。
トレーニング不要の階層動的プランナーは、アドホック エージェントがさまざまなチームに適応できるように、新しく提案された対話型思考反映 (IRoT) メソッドと LLM を併用して開発されます。
また、異種アドホック マルチエージェント整理タスクで提案されたフレームワークを評価するためのベンチマーク テスト データセットも構築します。
提案されたフレームワークの有効性を実証するために、ベンチマークで広範な比較およびアブレーション実験が実施されます。
また、提案されたフレームワークを現実世界のシナリオの物理ロボットにも採用しました。
実験ビデオは https://youtu.be/wHYP5T2WIp0 でご覧いただけます。

要約(オリジナル)

Compared with the widely investigated homogeneous multi-robot collaboration, heterogeneous robots with different capabilities can provide a more efficient and flexible collaboration for more complex tasks. In this paper, we consider a more challenging heterogeneous ad hoc teamwork collaboration problem where an ad hoc robot joins an existing heterogeneous team for a shared goal. Specifically, the ad hoc robot collaborates with unknown teammates without prior coordination, and it is expected to generate an appropriate cooperation policy to improve the efficiency of the whole team. To solve this challenging problem, we leverage the remarkable potential of the large language model (LLM) to establish a decentralized heterogeneous ad hoc teamwork collaboration framework that focuses on generating reasonable policy for an ad hoc robot to collaborate with original heterogeneous teammates. A training-free hierarchical dynamic planner is developed using the LLM together with the newly proposed Interactive Reflection of Thoughts (IRoT) method for the ad hoc agent to adapt to different teams. We also build a benchmark testing dataset to evaluate the proposed framework in the heterogeneous ad hoc multi-agent tidying-up task. Extensive comparison and ablation experiments are conducted in the benchmark to demonstrate the effectiveness of the proposed framework. We have also employed the proposed framework in physical robots in a real-world scenario. The experimental videos can be found at https://youtu.be/wHYP5T2WIp0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google