Grounding LLMs For Robot Task Planning Using Closed-loop State Feedback

要約

計画アルゴリズムは、複雑な問題を中間ステップに分解し、ロボットがこれらのステップを順番に実行してタスクを完了します。
最近の研究では、タスク計画に大規模言語モデル (LLM) を採用し、自然言語を使用してシミュレーション環境と現実世界の環境の両方でロボット ポリシーを生成しています。
GPT-4 のような LLM は、目に見えないタスクの一般化において有望な結果を示していますが、ロボット環境での不十分な接地によって引き起こされる幻覚のため、その適用性は限られています。
タスク計画における LLM の堅牢性は、環境状態の情報とフィードバックによって強化できます。
この論文では、高レベルの計画と低レベルの制御に 2 つの別個の LLM を利用し、タスク関連の成功率と目標条件の再現率を向上させる、タスク計画への新しいアプローチを紹介します。
私たちのアルゴリズム \textit{BrainBody-LLM} は、人間の神経システムからインスピレーションを得て、構造化された階層的な方法で 2 つの LLM に計画を分割することで、脳と体のアーキテクチャをエミュレートします。
BrainBody-LLM は閉ループ フィードバック メカニズムを実装しており、シミュレータ エラーから学習して、複雑な設定での実行エラーを解決できます。
VirtualHome シミュレーション環境での BrainBody-LLM のアプリケーションの成功例を実証し、GPT-4 バックエンドを使用して競合ベースラインと比較してタスク指向の成功率が 29\% 向上しました。
さらに、現実的な物理シミュレーターと Franka Research 3 ロボット アームを使用して、7 つの複雑なタスクに関するアルゴリズムを評価し、さまざまな最先端の LLM と比較します。
私たちの結果は、最近の LLM の推論機能の進歩を示しています。これにより、生のシミュレーター/コントローラーのエラーから学習して計画を修正できるようになり、ロボットのタスク計画において非常に効果的になっています。

要約(オリジナル)

Planning algorithms decompose complex problems into intermediate steps that can be sequentially executed by robots to complete tasks. Recent works have employed Large Language Models (LLMs) for task planning, using natural language to generate robot policies in both simulation and real-world environments. LLMs like GPT-4 have shown promising results in generalizing to unseen tasks, but their applicability is limited due to hallucinations caused by insufficient grounding in the robot environment. The robustness of LLMs in task planning can be enhanced with environmental state information and feedback. In this paper, we introduce a novel approach to task planning that utilizes two separate LLMs for high-level planning and low-level control, improving task-related success rates and goal condition recall. Our algorithm, \textit{BrainBody-LLM}, draws inspiration from the human neural system, emulating its brain-body architecture by dividing planning across two LLMs in a structured, hierarchical manner. BrainBody-LLM implements a closed-loop feedback mechanism, enabling learning from simulator errors to resolve execution errors in complex settings. We demonstrate the successful application of BrainBody-LLM in the VirtualHome simulation environment, achieving a 29\% improvement in task-oriented success rates over competitive baselines with the GPT-4 backend. Additionally, we evaluate our algorithm on seven complex tasks using a realistic physics simulator and the Franka Research 3 robotic arm, comparing it with various state-of-the-art LLMs. Our results show advancements in the reasoning capabilities of recent LLMs, which enable them to learn from raw simulator/controller errors to correct plans, making them highly effective in robotic task planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google