DyWA: Dynamics-adaptive World Action Model for Generalizable Non-prehensile Manipulation

要約

非構造化されていない環境では、薄すぎたり、大きく、または把握したりしないオブジェクトを処理するには、非緩和操作が重要です。
従来の計画ベースのアプローチは複雑な接触モデリングと闘っていますが、学習ベースの方法は最近、有望な代替手段として浮上しています。
ただし、既存の学習ベースのアプローチは2つの主要な制限に直面しています。マルチビューカメラと正確なポーズ追跡に大きく依存しており、オブジェクトの質量やテーブル摩擦の変化など、さまざまな物理的条件にわたって一般化できません。
これらの課題に対処するために、歴史的軌跡に基づいてダイナミクスのバリエーションに適応しながら将来の状態を共同で予測することにより、アクション学習を強化する新しいフレームワークであるダイナミクス適応ワールドアクションモデル（DYWA）を提案します。
ジオメトリ、状態、物理学、およびロボットアクションのモデリングを統合することにより、Dywaは、部分的な観察性の下でより堅牢なポリシー学習を可能にします。
ベースラインと比較して、私たちの方法は、シミュレーションでシングルビューポイントクラウド観測のみを使用して、成功率を31.5％改善します。
さらに、DYWAは、実際の実験で平均成功率68％を達成し、多様なオブジェクトのジオメトリ全体で一般化し、さまざまなテーブル摩擦に適応し、半分充填水のボトルや滑りやすい表面などの挑戦的なシナリオに堅牢性に適応する能力を実証します。

要約(オリジナル)

Nonprehensile manipulation is crucial for handling objects that are too thin, large, or otherwise ungraspable in unstructured environments. While conventional planning-based approaches struggle with complex contact modeling, learning-based methods have recently emerged as a promising alternative. However, existing learning-based approaches face two major limitations: they heavily rely on multi-view cameras and precise pose tracking, and they fail to generalize across varying physical conditions, such as changes in object mass and table friction. To address these challenges, we propose the Dynamics-Adaptive World Action Model (DyWA), a novel framework that enhances action learning by jointly predicting future states while adapting to dynamics variations based on historical trajectories. By unifying the modeling of geometry, state, physics, and robot actions, DyWA enables more robust policy learning under partial observability. Compared to baselines, our method improves the success rate by 31.5% using only single-view point cloud observations in the simulation. Furthermore, DyWA achieves an average success rate of 68% in real-world experiments, demonstrating its ability to generalize across diverse object geometries, adapt to varying table friction, and robustness in challenging scenarios such as half-filled water bottles and slippery surfaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google