Robotic Control via Embodied Chain-of-Thought Reasoning

要約

学習されたロボット制御ポリシーの主な制限は、トレーニング データの外で一般化できないことです。
ビジョン言語アクション モデル (VLA) に関する最近の研究では、学習済みロボット ポリシーのバックボーンとして、インターネットで事前トレーニングされた大規模なビジョン言語モデルを使用すると、堅牢性と一般化能力が大幅に向上することが示されています。
しかし、他の領域における大規模なビジョン言語モデルの最も魅力的な機能の 1 つは、複雑な問題を反復的に推論する能力です。
同じ機能をロボット工学に導入して、行動する前に特定のタスクについて推論することでポリシーのパフォーマンスを向上させることはできるでしょうか?
標準 VLA では、利用できるトレーニング サンプルが比較的単純であるため、「思考連鎖」(CoT) スタイルのプロンプトを単純に使用すると、効果が大幅に低下します。
さらに、通常の CoT ではよくあることですが、サブタスクに関する純粋に意味論的な推論は、感覚観察とロボットの状態に推論を基礎付ける必要があるロボット ポリシーには不十分です。
この目的を達成するために、VLA 向けの身体的思考連鎖推論 (ECoT) を導入します。これにより、プラン、サブタスク、モーション、およびオブジェクトの境界ボックスやエンド エフェクターなどの視覚的に根拠のある機能に関する推論の複数のステップを実行するように VLA をトレーニングします。
ロボットの動作を予測する前に、位置を決定します。
大規模なロボット データセット上で ECoT 用の合成トレーニング データを生成するためのスケーラブルなパイプラインを設計します。
ECoT は、追加のロボット トレーニング データを必要とせずに、現時点で最も強力なオープンソース VLA ポリシーである OpenVLA の絶対成功率を、困難な汎化タスク全体で 28% 向上させることを実証します。
さらに、ECoT を使用すると、人間が自然言語を使用してポリシーの失敗を解釈し、その動作を修正することが容易になります。

要約(オリジナル)

A key limitation of learned robot control policies is their inability to generalize outside their training data. Recent works on vision-language-action models (VLAs) have shown that the use of large, internet pre-trained vision-language models as the backbone of learned robot policies can substantially improve their robustness and generalization ability. Yet, one of the most exciting capabilities of large vision-language models in other domains is their ability to reason iteratively through complex problems. Can that same capability be brought into robotics to allow policies to improve performance by reasoning about a given task before acting? Naive use of ‘chain-of-thought’ (CoT) style prompting is significantly less effective with standard VLAs because of the relatively simple training examples that are available to them. Additionally, purely semantic reasoning about sub-tasks, as is common in regular CoT, is insufficient for robot policies that need to ground their reasoning in sensory observations and the robot state. To this end, we introduce Embodied Chain-of-Thought Reasoning (ECoT) for VLAs, in which we train VLAs to perform multiple steps of reasoning about plans, sub-tasks, motions, and visually grounded features like object bounding boxes and end effector positions, before predicting the robot action. We design a scalable pipeline for generating synthetic training data for ECoT on large robot datasets. We demonstrate, that ECoT increases the absolute success rate of OpenVLA, the current strongest open-source VLA policy, by 28% across challenging generalization tasks, without any additional robot training data. Additionally, ECoT makes it easier for humans to interpret a policy’s failures and correct its behavior using natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google