ToolEENet: Tool Affordance 6D Pose Estimation

要約

ツールを利用したロボットの器用な手の探求は、最近かなりの注目を集めています。
この分野における重要な課題は、手による遮蔽により推定の品質が低下することが多いため、ツールを握ったときにツールの姿勢を正確に認識することです。
さらに、ツールの全体的なポーズは接触インタラクションを正確に表現できないことが多く、そのため視覚に導かれた接触依存のアクティビティの有効性が制限されます。
この制限を克服するために、私たちは革新的な TOOLEE データセットを紹介します。これは、私たちの知る限り、ツールのエンドエフェクター (EE) のアフォーダンス セグメンテーションと、その使用法に基づいて定義された 6D ポーズを特徴とする最初のデータセットです。
さらに、ツールの EE の正確な 6D 姿勢推定のための ToolEENet フレームワークを提案します。
このフレームワークは、生の RGBD データからツールの EE をセグメント化することから始まり、次に拡散モデルベースの姿勢推定器を使用して、カテゴリ固有のレベルで 6D 姿勢推定を行います。
姿勢推定における対称性の問題に対処し、姿勢推定の一貫性を高める対称性を意識した姿勢表現を導入します。
私たちのアプローチはこの分野で優れており、高レベルの精度と汎用性を実証しています。
さらに、接触ベースの操作シナリオへの応用にも大きな期待が寄せられています。
すべてのデータとコードはプロジェクト Web サイトで入手できます: https://tooleenet-iros2024.github.io/

要約(オリジナル)

The exploration of robotic dexterous hands utilizing tools has recently attracted considerable attention. A significant challenge in this field is the precise awareness of a tool’s pose when grasped, as occlusion by the hand often degrades the quality of the estimation. Additionally, the tool’s overall pose often fails to accurately represent the contact interaction, thereby limiting the effectiveness of vision-guided, contact-dependent activities. To overcome this limitation, we present the innovative TOOLEE dataset, which, to the best of our knowledge, is the first to feature affordance segmentation of a tool’s end-effector (EE) along with its defined 6D pose based on its usage. Furthermore, we propose the ToolEENet framework for accurate 6D pose estimation of the tool’s EE. This framework begins by segmenting the tool’s EE from raw RGBD data, then uses a diffusion model-based pose estimator for 6D pose estimation at a category-specific level. Addressing the issue of symmetry in pose estimation, we introduce a symmetry-aware pose representation that enhances the consistency of pose estimation. Our approach excels in this field, demonstrating high levels of precision and generalization. Furthermore, it shows great promise for application in contact-based manipulation scenarios. All data and codes are available on the project website: https://tooleenet-iros2024.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google