RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction

要約

Vision-Language-active（VLA）モデルは、自然言語の指示と画像情報を順次制御アクションに変換することにより、最近高度なロボット操作を行っています。
ただし、これらのモデルは、主に成功した専門家のデモンストレーションで訓練されており、故障回復の限られた能力を示しているため、オープンワールドのシナリオではパフォーマンスが低下していることがよくあります。
この作業では、この問題に対処するために、ロボット故障分析と修正（ROBOFAC）フレームワークを提示します。
第一に、シミュレーションと現実世界の両方の環境で、16の多様なタスクと53シーンにわたって9,440の誤った操作軌跡と78,623のQAペアで構成されるRobofacデータセットを構築します。
データセットを活用して、タスクの理解、障害分析、障害修正が可能なRobofacモデルを開発します。
実験結果は、ROBOFACモデルが評価ベンチマークでGPT-4Oを34.1％上回ることを示しています。
さらに、ROBOFACモデルを実際のVLAコントロールパイプラインに統合し、修正命令を提供する外部監督として統合し、4つの実際のタスクで平均して29.1％の相対的な改善をもたらします。
結果は、Robofacフレームワークがロボット障害を効果的に処理し、VLAモデルが障害から回復するのを支援することを示しています。

要約(オリジナル)

Vision-Language-Action (VLA) models have recently advanced robotic manipulation by translating natural-language instructions and image information into sequential control actions. However, these models often underperform in open-world scenarios, as they are predominantly trained on successful expert demonstrations and exhibit a limited capacity for failure recovery. In this work, we present a Robotic Failure Analysis and Correction (RoboFAC) framework to address this issue. Firstly, we construct RoboFAC dataset comprising 9,440 erroneous manipulation trajectories and 78,623 QA pairs across 16 diverse tasks and 53 scenes in both simulation and real-world environments. Leveraging our dataset, we develop RoboFAC model, which is capable of Task Understanding, Failure Analysis and Failure Correction. Experimental results demonstrate that the RoboFAC model outperforms GPT-4o by 34.1% on our evaluation benchmark. Furthermore, we integrate the RoboFAC model into a real-world VLA control pipeline as an external supervision providing correction instructions, yielding a 29.1% relative improvement on average on four real-world tasks. The results show that our RoboFAC framework effectively handles robotic failures and assists the VLA model in recovering from failures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google