DART-LLM: Dependency-Aware Multi-Robot Task Decomposition and Execution using Large Language Models

要約

大規模言語モデル (LLM) は、ロボット システムにおける重要な推論機能を実証しています。
ただし、マルチロボット システムでの展開は断片化されたままで、複雑なタスクの依存関係や並列実行の処理に苦労しています。
この研究では、これらの課題に対処するために設計された DART-LLM (Dependency-Aware Multi-Robot Task Decomposition and Execution using Large Language Models) システムを紹介します。
DART-LLM は LLM を利用して自然言語命令を解析し、依存関係のある複数のサブタスクに分解して複雑なタスク シーケンスを確立します。これにより、マルチロボット システムでの効率的な調整と並列実行が強化されます。
このシステムには、QA LLM モジュール、ブレークダウン機能モジュール、アクチュエーション モジュール、ビジョン言語モデル (VLM) ベースの物体検出モジュールが含まれており、自然言語命令からロボット動作までのタスクの分解と実行を可能にします。
実験結果は、DART-LLM が長期にわたるタスクや複雑な依存関係のある共同タスクの処理に優れていることを示しています。
Llama 3.1 8B のような小型モデルを使用する場合でも、システムは優れたパフォーマンスを達成し、モデル サイズの点で DART-LLM の堅牢性が強調されます。
ビデオとコードについては、プロジェクト Web サイト \url{https://wyd0817.github.io/project-dart-llm/} を参照してください。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated significant reasoning capabilities in robotic systems. However, their deployment in multi-robot systems remains fragmented and struggles to handle complex task dependencies and parallel execution. This study introduces the DART-LLM (Dependency-Aware Multi-Robot Task Decomposition and Execution using Large Language Models) system, designed to address these challenges. DART-LLM utilizes LLMs to parse natural language instructions, decomposing them into multiple subtasks with dependencies to establish complex task sequences, thereby enhancing efficient coordination and parallel execution in multi-robot systems. The system includes the QA LLM module, Breakdown Function modules, Actuation module, and a Vision-Language Model (VLM)-based object detection module, enabling task decomposition and execution from natural language instructions to robotic actions. Experimental results demonstrate that DART-LLM excels in handling long-horizon tasks and collaborative tasks with complex dependencies. Even when using smaller models like Llama 3.1 8B, the system achieves good performance, highlighting DART-LLM’s robustness in terms of model size. Please refer to the project website \url{https://wyd0817.github.io/project-dart-llm/} for videos and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google