GCE-Pose: Global Context Enhancement for Category-level Object Pose Estimation

要約

モデルフリーのカテゴリレベルのポーズ推定における重要な課題は、特定のカテゴリ内のさまざまなインスタンスに一般化するコンテキストオブジェクト機能の抽出です。
最近のアプローチは、基礎機能を活用して、データからセマンティックおよびジオメトリのキューをキャプチャします。
ただし、これらのアプローチは部分的な可視性では失敗します。
これは、クラスプライアーを利用した機能抽出のための最初の完全に完全に総合的な戦略で克服します。
このホワイトペーパーでは、GCE-Poseを提示します。これは、カテゴリレベルのグローバルコンテキストを統合することにより、新しいインスタンスのポーズ推定を強化する方法です。
GCE-Poseは、提案されたセマンティックシェイプ再構成（SSR）モジュールでセマンティックシェイプ再構成を実行します。
目に見えない部分RGB-Dオブジェクトインスタンスを考えると、SSRモジュールは、学習した深い線形形状モデルを介してカテゴリ固有の3Dセマンティックプロトタイプを変形させることにより、インスタンスのグローバルジオメトリとセマンティクスを再構築します。
さらに、部分的なRGB-D観測と再構築されたグローバルコンテキストから機能を効果的に融合するグローバルコンテキスト強化（GCE）機能融合モジュールを導入します。
広範な実験では、GCE PoseがGCE-Poseの有効性がGCE Fusionモジュールの有効性と有効性を検証し、GCE-Poseが現実世界のデータセットHouseCat6DおよびNOCS-REAL275に挑戦する既存の方法を大幅に上回ることを実証します。
プロジェクトページは、https：//colin-de.github.io/gce-pose/で入手できます。

要約(オリジナル)

A key challenge in model-free category-level pose estimation is the extraction of contextual object features that generalize across varying instances within a specific category. Recent approaches leverage foundational features to capture semantic and geometry cues from data. However, these approaches fail under partial visibility. We overcome this with a first-complete-then-aggregate strategy for feature extraction utilizing class priors. In this paper, we present GCE-Pose, a method that enhances pose estimation for novel instances by integrating category-level global context prior. GCE-Pose performs semantic shape reconstruction with a proposed Semantic Shape Reconstruction (SSR) module. Given an unseen partial RGB-D object instance, our SSR module reconstructs the instance’s global geometry and semantics by deforming category-specific 3D semantic prototypes through a learned deep Linear Shape Model. We further introduce a Global Context Enhanced (GCE) feature fusion module that effectively fuses features from partial RGB-D observations and the reconstructed global context. Extensive experiments validate the impact of our global context prior and the effectiveness of the GCE fusion module, demonstrating that GCE-Pose significantly outperforms existing methods on challenging real-world datasets HouseCat6D and NOCS-REAL275. Our project page is available at https://colin-de.github.io/GCE-Pose/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google