Scaling Up Natural Language Understanding for Multi-Robots Through the Lens of Hierarchy

要約

長期的な計画は、不確実性の蓄積、計算の複雑さ、報酬の遅れ、不完全な情報などの課題によって妨げられます。
この研究では、人間の指示からのタスク階層を利用してマルチロボット計画を容易にするアプローチを提案しています。
大規模言語モデル (LLM) を使用して、複数の文からなる命令を、計画の正式な表現として機能する構造化言語である階層線形時相論理 (LTL) に翻訳する 2 段階のアプローチを提案します。
最初に、LLM は命令を階層タスク ツリーとして定義された階層表現に変換し、タスク間の論理的および時間的関係をキャプチャします。
これに続いて、LLM のドメイン固有の微調整によって、各タスクのサブタスクがフラットな LTL 式に変換され、それらが集約されて階層的な LTL 仕様が形成されます。
これらの仕様は、既製のプランナーを使用した計画に利用されます。
私たちのフレームワークは、命令とアルゴリズム計画の間のギャップを埋めるだけでなく、階層的推論を利用してマルチロボットのタスク計画を自動化する際の LLM の可能性も示しています。
シミュレーションと人間が参加する現実世界の実験の両方での評価を通じて、私たちの方法が既存の方法と比較してより複雑な命令を処理できることを実証しました。
結果は、私たちのアプローチがマルチロボットのタスク割り当てと計画生成においてより高い成功率とより低いコストを達成することを示しています。
デモビデオは https://youtu.be/7WOrDKxIMIs でご覧いただけます。

要約(オリジナル)

Long-horizon planning is hindered by challenges such as uncertainty accumulation, computational complexity, delayed rewards and incomplete information. This work proposes an approach to exploit the task hierarchy from human instructions to facilitate multi-robot planning. Using Large Language Models (LLMs), we propose a two-step approach to translate multi-sentence instructions into a structured language, Hierarchical Linear Temporal Logic (LTL), which serves as a formal representation for planning. Initially, LLMs transform the instructions into a hierarchical representation defined as Hierarchical Task Tree, capturing the logical and temporal relations among tasks. Following this, a domain-specific fine-tuning of LLM translates sub-tasks of each task into flat LTL formulas, aggregating them to form hierarchical LTL specifications. These specifications are then leveraged for planning using off-the-shelf planners. Our framework not only bridges the gap between instructions and algorithmic planning but also showcases the potential of LLMs in harnessing hierarchical reasoning to automate multi-robot task planning. Through evaluations in both simulation and real-world experiments involving human participants, we demonstrate that our method can handle more complex instructions compared to existing methods. The results indicate that our approach achieves higher success rates and lower costs in multi-robot task allocation and plan generation. Demos videos are available at https://youtu.be/7WOrDKxIMIs .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google