REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction

要約

失敗した実行を自動的に検出して分析する機能は、説明可能で堅牢なロボット システムにとって非常に重要です。
最近、大規模言語モデル (LLM) は、テキスト入力に対する強力な推論能力を実証しました。
ロボットの故障説明に LLM の力を活用するために、多感覚観察から生成されたロボットの過去の経験の階層的な要約に基づいて故障推論を LLM に問い合わせるフレームワーク REFLECT を導入します。
障害の説明により、言語ベースのプランナーが障害を修正してタスクを完了するようさらにガイドできます。
フレームワークを体系的に評価するために、さまざまなタスクと障害シナリオを含む RoboFail データセットを作成します。
我々は、LLM ベースのフレームワークが、修正計画の成功を支援する有益な障害の説明を生成できることを実証します。

要約(オリジナル)

The ability to detect and analyze failed executions automatically is crucial for an explainable and robust robotic system. Recently, Large Language Models (LLMs) have demonstrated strong reasoning abilities on textual inputs. To leverage the power of LLMs for robot failure explanation, we introduce REFLECT, a framework which queries LLM for failure reasoning based on a hierarchical summary of robot past experiences generated from multisensory observations. The failure explanation can further guide a language-based planner to correct the failure and complete the task. To systematically evaluate the framework, we create the RoboFail dataset with a variety of tasks and failure scenarios. We demonstrate that the LLM-based framework is able to generate informative failure explanations that assist successful correction planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google