BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation

要約

このペーパーでは、オブジェクトポーズ推定のための一般化可能なRGBベースのアプローチを紹介します。
既存のメソッドは目に見えないオブジェクトのポーズを推定できますが、それらの一般化能力は、閉塞とまばらな参照ビューを含むシナリオで限られたままであり、実際の適用性を制限します。
これらの制限を克服するために、オブジェクトのポーズの中間表現として、オブジェクト境界ボックスのコーナーポイントを導入します。
3Dオブジェクトのコーナーは、スパース入力ビューから確実に回復できますが、ターゲットビューの2Dコーナーポイントは、オクルージョンを含むシナリオでもうまく機能する新しい参照ベースのポイントシンセサイザーを介して推定されます。
オブジェクトセマンティックポイントとして、オブジェクトコーナーは、PNPアルゴリズムを使用してオブジェクトポーズ推定の2D-3D対応を自然に確立します。
YCB-VideoおよびOccluded-LineModデータセットに関する広範な実験は、私たちのアプローチが最先端の方法を上回り、提案された表現の有効性を強調し、オブジェクトのポーズ推定の一般化能力を大幅に強化することを示しています。

要約(オリジナル)

This paper presents a generalizable RGB-based approach for object pose estimation, specifically designed to address challenges in sparse-view settings. While existing methods can estimate the poses of unseen objects, their generalization ability remains limited in scenarios involving occlusions and sparse reference views, restricting their real-world applicability. To overcome these limitations, we introduce corner points of the object bounding box as an intermediate representation of the object pose. The 3D object corners can be reliably recovered from sparse input views, while the 2D corner points in the target view are estimated through a novel reference-based point synthesizer, which works well even in scenarios involving occlusions. As object semantic points, object corners naturally establish 2D-3D correspondences for object pose estimation with a PnP algorithm. Extensive experiments on the YCB-Video and Occluded-LINEMOD datasets show that our approach outperforms state-of-the-art methods, highlighting the effectiveness of the proposed representation and significantly enhancing the generalization capabilities of object pose estimation, which is crucial for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google