REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction

要約

失敗した実行を自動的に検出して分析する機能は、説明可能で堅牢なロボット システムにとって非常に重要です。
最近、大規模言語モデル (LLM) は、テキスト入力に対する強力な常識的推論スキルを実証しました。
ロボットの故障説明に LLM の力を活用するために、多感覚データをロボットの過去の経験の階層的な要約に変換し、進行性故障説明アルゴリズムで LLM にクエリを実行するフレームワーク REFLECT を提案します。
説明を条件として、障害修正プランナーは、ロボットが障害を修正してタスクを完了するための実行可能な計画を生成します。
フレームワークを体系的に評価するために、RoboFail データセットを作成し、LLM ベースのフレームワークが修正計画の成功を支援する有益な障害説明を生成できることを示します。
プロジェクトWebサイト：https://roboreflect.github.io/

要約(オリジナル)

The ability to detect and analyze failed executions automatically is crucial for an explainable and robust robotic system. Recently, Large Language Models (LLMs) have demonstrated strong common sense reasoning skills on textual inputs. To leverage the power of LLM for robot failure explanation, we propose a framework REFLECT, which converts multi-sensory data into a hierarchical summary of robot past experiences and queries LLM with a progressive failure explanation algorithm. Conditioned on the explanation, a failure correction planner generates an executable plan for the robot to correct the failure and complete the task. To systematically evaluate the framework, we create the RoboFail dataset and show that our LLM-based framework is able to generate informative failure explanations that assist successful correction planning. Project website: https://roboreflect.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google