Two by Two: Learning Multi-Task Pairwise Objects Assembly for Generalizable Robot Manipulation

要約

家具アセンブリやコンポーネントフィッティングなどの3Dアセンブリタスクは、日常生活に重要な役割を果たし、将来のホームロボットに不可欠な能力を表しています。
既存のベンチマークとデータセットは、主に幾何学的な断片や工場部品の組み立てに焦点を当てており、日常のオブジェクトの相互作用やアセンブリの複雑さに対処するのに不足しています。
このギャップを埋めるために、毎日のペアワイズオブジェクトアセンブリ用の大規模な注釈付きデータセットである2BY2を紹介します。これは、ソケットに接続したり、花瓶に花を配置したり、トースターにパンを挿入するなど、実際のシナリオを反映した18の細かいタスクをカバーしています。
2BY2データセットには、1,034個のインスタンスと517個のペアワイズオブジェクトがポーズおよび対称注釈を含む517個のペアワイズオブジェクトが含まれており、オブジェクト間の機能的および空間的関係を説明しながら幾何学的形状を調整するアプローチが必要です。
2by2データセットを活用すると、アセンブリ制約のための等縁フィーチャを備えた2段階のSE（3）ポーズ推定方法を提案します。
以前の形状アセンブリ方法と比較して、私たちのアプローチは、2BY2データセットの18のタスクすべてにわたって最先端のパフォーマンスを実現します。
さらに、ロボット実験により、複雑な3Dアセンブリタスクに対する方法の信頼性と一般化能力がさらに検証されます。

要約(オリジナル)

3D assembly tasks, such as furniture assembly and component fitting, play a crucial role in daily life and represent essential capabilities for future home robots. Existing benchmarks and datasets predominantly focus on assembling geometric fragments or factory parts, which fall short in addressing the complexities of everyday object interactions and assemblies. To bridge this gap, we present 2BY2, a large-scale annotated dataset for daily pairwise objects assembly, covering 18 fine-grained tasks that reflect real-life scenarios, such as plugging into sockets, arranging flowers in vases, and inserting bread into toasters. 2BY2 dataset includes 1,034 instances and 517 pairwise objects with pose and symmetry annotations, requiring approaches that align geometric shapes while accounting for functional and spatial relationships between objects. Leveraging the 2BY2 dataset, we propose a two-step SE(3) pose estimation method with equivariant features for assembly constraints. Compared to previous shape assembly methods, our approach achieves state-of-the-art performance across all 18 tasks in the 2BY2 dataset. Additionally, robot experiments further validate the reliability and generalization ability of our method for complex 3D assembly tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google