COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models

要約

大規模言語モデル (LLM) の強力な推論機能を活用して、最近の LLM ベースのロボット タスク計画手法は有望な結果をもたらします。
ただし、それらは主に、単純なタスクを実行する単一または複数の同種のロボットに焦点を当てています。
実際には、長期にわたる複雑なタスクでは、常に複数の異種ロボット間の連携が必要であり、特により複雑なアクション スペースでは、これらのタスクがより困難になります。
この目的を達成するために、クアッドローター、ロボット犬、ロボットアームなどの異種マルチロボットシステムの共同作業のための、新しい LLM ベースのタスク計画フレームワークである COHERENT を提案します。
具体的には、提案実行フィードバック調整 (PEFA) メカニズムは、個々のロボットのアクションを分解して割り当てるように設計されており、集中タスク割り当て者がタスク計画提案を作成して複雑なタスクをサブタスクに分解し、サブタスクをロボット実行者に割り当てます。
。
各ロボット実行者は、割り当てられたサブタスクを実装するための実行可能なアクションを選択し、計画調整のためにタスク割り当て者に反省のフィードバックを報告します。
PEFA はタスクが完了するまでループします。
さらに、100 の複雑な長期タスクを含む、異種混合マルチロボット タスク計画のベンチマークを作成します。
実験結果は、私たちの研究が成功率と実行効率の点で以前の方法を大幅に上回っていることを示しています。
実験ビデオ、コード、ベンチマークは https://github.com/MrKeee/COHERENT で公開されています。

要約(オリジナル)

Leveraging the powerful reasoning capabilities of large language models (LLMs), recent LLM-based robot task planning methods yield promising results. However, they mainly focus on single or multiple homogeneous robots on simple tasks. Practically, complex long-horizon tasks always require collaborations among multiple heterogeneous robots especially with more complex action spaces, which makes these tasks more challenging. To this end, we propose COHERENT, a novel LLM-based task planning framework for collaboration of heterogeneous multi-robot systems including quadrotors, robotic dogs, and robotic arms. Specifically, a Proposal-Execution-Feedback-Adjustment (PEFA) mechanism is designed to decompose and assign actions for individual robots, where a centralized task assigner makes a task planning proposal to decompose the complex task into subtasks, and then assigns subtasks to robot executors. Each robot executor selects a feasible action to implement the assigned subtask and reports self-reflection feedback to the task assigner for plan adjustment. The PEFA loops until the task is completed. Moreover, we create a challenging heterogeneous multi-robot task planning benchmark encompassing 100 complex long-horizon tasks. The experimental results show that our work surpasses the previous methods by a large margin in terms of success rate and execution efficiency. The experimental videos, code, and benchmark are released at https://github.com/MrKeee/COHERENT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google