GAPartManip: A Large-scale Part-centric Dataset for Material-Agnostic Articulated Object Manipulation

要約

家庭用シナリオで明確なオブジェクトを効果的に操作することは、一般的な具体化された人工知能を達成するための重要なステップです。
3Dビジョンにおける主流の研究は、主に深さの知覚とポーズ検出による操作に焦点を当てています。
ただし、実際の環境では、これらの方法は、透明な蓋や反射ハンドルなど、不完全な深さの知覚のために課題に直面することがよくあります。
さらに、それらは一般に、柔軟で順応性のある操作に必要な部分ベースの相互作用に多様性を欠いています。
これらの課題に対処するために、写真リアルな材料のランダム化と、シーンレベルの実用的な相互作用ポーズの部分指向の詳細な注釈の両方を特徴とする明確なオブジェクト操作のための大規模な部分中心のデータセットを導入しました。
データセットの有効性は、深度推定と相互作用のポーズ予測のためのいくつかの最先端の方法と統合することにより、データセットの有効性を評価しました。
さらに、一般化可能な明確なオブジェクト操作に優れた堅牢なパフォーマンスを提供する新しいモジュラーフレームワークを提案しました。
当社の広範な実験は、データセットが深さ知覚のパフォーマンスを大幅に改善し、実用的な相互作用がシミュレーションと実世界のシナリオの両方で予測をもたらすことを示しています。
詳細とデモは、https：//pku-epic.github.io/gapartmanip/をご覧ください。

要約(オリジナル)

Effectively manipulating articulated objects in household scenarios is a crucial step toward achieving general embodied artificial intelligence. Mainstream research in 3D vision has primarily focused on manipulation through depth perception and pose detection. However, in real-world environments, these methods often face challenges due to imperfect depth perception, such as with transparent lids and reflective handles. Moreover, they generally lack the diversity in part-based interactions required for flexible and adaptable manipulation. To address these challenges, we introduced a large-scale part-centric dataset for articulated object manipulation that features both photo-realistic material randomization and detailed annotations of part-oriented, scene-level actionable interaction poses. We evaluated the effectiveness of our dataset by integrating it with several state-of-the-art methods for depth estimation and interaction pose prediction. Additionally, we proposed a novel modular framework that delivers superior and robust performance for generalizable articulated object manipulation. Our extensive experiments demonstrate that our dataset significantly improves the performance of depth perception and actionable interaction pose prediction in both simulation and real-world scenarios. More information and demos can be found at: https://pku-epic.github.io/GAPartManip/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google