UniDoorManip: Learning Universal Door Manipulation Policy Over Large-scale and Diverse Door Manipulation Environments

要約

多様なカテゴリ、形状、メカニズムを備えたドアを包含する普遍的な操作ポリシーを学習することは、将来の身体化エージェントが複雑で広範な現実世界のシナリオで効果的に動作するために重要です。
データセットが限られており、シミュレーション環境が非現実的であるため、これまでの研究ではさまざまな面で良好なパフォーマンスを達成できませんでした。
この作業では、さまざまな現実的なドア操作メカニズムを反映した新しいドア操作環境を構築し、さらにこの環境に、数百のドア本体とハンドルを備えた 6 つのドア カテゴリをカバーし、数千の異なるドア インスタンスを構成する大規模なドア データセットを装備します。
さらに、現実世界のシナリオをより適切にエミュレートするために、エージェントとして移動ロボットを導入し、観測として部分的および遮蔽された点群を使用します。これらは、現実世界の実装にとって重要であるにもかかわらず、以前の研究では考慮されていませんでした。
多様なドアを越えた普遍的なポリシーを学習するために、操作プロセス全体を 3 段階に分解し、推論の逆順序でトレーニングすることでそれらを統合する新しいフレームワークを提案します。
広範な実験により設計の有効性が検証され、フレームワークの強力なパフォーマンスが実証されました。
コード、データ、ビデオは https://unidoormanip.github.io/ で入手できます。

要約(オリジナル)

Learning a universal manipulation policy encompassing doors with diverse categories, geometries and mechanisms, is crucial for future embodied agents to effectively work in complex and broad real-world scenarios. Due to the limited datasets and unrealistic simulation environments, previous works fail to achieve good performance across various doors. In this work, we build a novel door manipulation environment reflecting different realistic door manipulation mechanisms, and further equip this environment with a large-scale door dataset covering 6 door categories with hundreds of door bodies and handles, making up thousands of different door instances. Additionally, to better emulate real-world scenarios, we introduce a mobile robot as the agent and use the partial and occluded point cloud as the observation, which are not considered in previous works while possessing significance for real-world implementations. To learn a universal policy over diverse doors, we propose a novel framework disentangling the whole manipulation process into three stages, and integrating them by training in the reversed order of inference. Extensive experiments validate the effectiveness of our designs and demonstrate our framework’s strong performance. Code, data and videos are avaible on https://unidoormanip.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google