OPAL: Encoding Causal Understanding of Physical Systems for Robot Learning

要約

ロボット制御のためのフローマッチングにトポロジカル制約を導入する新しいビジョン言語アクションアーキテクチャであるOpal（Operant Physical Agent with Language）を提示します。
そうするために、さらにトポロジカルな注意を紹介します。
私たちのアプローチは、非自明の制約を伴うトポロジー的に構造化された表現としてのアクションシーケンスをモデル化します。
10の複雑な操作タスクにわたる実験結果は、Octo、OpenVLA、$ {\ pi} $ 0などの以前のアプローチと比較して、Opalの優れたパフォーマンスを示しています。
当社のアーキテクチャは、タスク固有の微調整を必要とせずに、ゼロショットパフォーマンスの大幅な改善を達成し、推論計算要件を42％削減します。
私たちのトポロジー的アプローチによって提供される理論的保証は、より首尾一貫した長期作用シーケンスをもたらします。
私たちの結果は、基本的な物理的法則から派生することにより、ロボット工学の学習問題の検索空間を制約する可能性と、トポロジーの注意を使用して因果的理解を変圧器アーキテクチャに埋め込む可能性を強調しています。

要約(オリジナル)

We present OPAL (Operant Physical Agent with Language), a novel vision-language-action architecture that introduces topological constraints to flow matching for robotic control. To do so, we further introduce topological attention. Our approach models action sequences as topologically-structured representations with non-trivial constraints. Experimental results across 10 complex manipulation tasks demonstrate OPAL’s superior performance compared to previous approaches, including Octo, OpenVLA, and ${\pi}$0. Our architecture achieves significant improvements in zero-shot performance without requiring task-specific fine-tuning, while reducing inference computational requirements by 42%. The theoretical guarantees provided by our topological approach result in more coherent long-horizon action sequences. Our results highlight the potential of constraining the search space of learning problems in robotics by deriving from fundamental physical laws, and the possibility of using topological attention to embed causal understanding into transformer architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google