REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction

要約

失敗した実行を自動的に検出して分析する機能は、説明可能で堅牢なロボット システムにとって非常に重要です。
最近、大規模言語モデル (LLM) は、テキスト入力に対する強力な推論能力を実証しました。
ロボットの故障の説明に LLM の力を活用するために、フレームワーク REFLECT を導入します。このフレームワークは、多感覚データから生成されたロボットの過去の経験の階層的な要約を考慮して、LLM にクエリを実行してロボットの故障を特定し、説明します。
説明を条件として、タスク プランナーはロボットが失敗を修正してタスクを完了するための実行可能な計画を生成します。
フレームワークを体系的に評価するために、さまざまなタスクと障害シナリオを含む RoboFail データセットを作成します。
我々は、LLM ベースのフレームワークが、修正計画の成功を支援する有益な障害の説明を生成できることを実証します。
ビデオとコードは https://roboreflect.github.io/ で入手できます。

要約(オリジナル)

The ability to detect and analyze failed executions automatically is crucial for an explainable and robust robotic system. Recently, Large Language Models (LLMs) have demonstrated strong reasoning abilities on textual inputs. To leverage the power of LLM for robot failure explanation, we introduce a framework REFLECT, which queries LLM to identify and explain robot failures given a hierarchical summary of robot past experiences generated from multi-sensory data. Conditioned on the explanation, a task planner will generate an executable plan for the robot to correct the failure and complete the task. To systematically evaluate the framework, we create the RoboFail dataset with a variety of tasks and failure scenarios. We demonstrate that the LLM-based framework is able to generate informative failure explanations that assist successful correction planning. Videos and code available at: https://roboreflect.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google