AdaManip: Adaptive Articulated Object Manipulation Environments and Policy Learning

要約

明確なオブジェクト操作は、ロボットが実際のシナリオでさまざまなタスクを実行する重要な機能です。
関節で接続された複数の部分で構成されている、明確なオブジェクトには、複雑な相対運動を通じて多様な機能メカニズムが恵まれています。
たとえば、安全はドア、ハンドル、ロックで構成されます。ロックでは、ラッチのロックが解除されたときにのみドアを開くことができます。
ロックや関節の角度の制約の状態などの内部構造は、視覚的観察から直接観察することはできません。
したがって、これらのオブジェクトの操作が成功するには、一度限りの視覚推論ではなく、試行錯誤に基づいた適応調整が必要です。
ただし、明確なオブジェクトの以前のデータセットとシミュレーション環境は、主にオブジェクトの外観から完全な操作プロセスを推測できる単純な操作メカニズムに焦点を当てています。
適応操作メカニズムの多様性と複雑さを高めるために、新しい明確なオブジェクト操作環境を構築し、9つのカテゴリのオブジェクトを装備します。
環境とオブジェクトに基づいて、適応操作ポリシーを学習する適応デモコレクションと3D視覚拡散ベースの模倣学習パイプラインをさらに提案します。
私たちの設計と提案された方法の有効性は、シミュレーションと現実世界の実験の両方を通じて検証されます。
プロジェクトページは、https：//adamanip.github.ioで入手できます

要約(オリジナル)

Articulated object manipulation is a critical capability for robots to perform various tasks in real-world scenarios. Composed of multiple parts connected by joints, articulated objects are endowed with diverse functional mechanisms through complex relative motions. For example, a safe consists of a door, a handle, and a lock, where the door can only be opened when the latch is unlocked. The internal structure, such as the state of a lock or joint angle constraints, cannot be directly observed from visual observation. Consequently, successful manipulation of these objects requires adaptive adjustment based on trial and error rather than a one-time visual inference. However, previous datasets and simulation environments for articulated objects have primarily focused on simple manipulation mechanisms where the complete manipulation process can be inferred from the object’s appearance. To enhance the diversity and complexity of adaptive manipulation mechanisms, we build a novel articulated object manipulation environment and equip it with 9 categories of objects. Based on the environment and objects, we further propose an adaptive demonstration collection and 3D visual diffusion-based imitation learning pipeline that learns the adaptive manipulation policy. The effectiveness of our designs and proposed method is validated through both simulation and real-world experiments. Our project page is available at: https://adamanip.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google