UA-Pose: Uncertainty-Aware 6D Object Pose Estimation and Online Object Completion with Partial References

要約

6Dオブジェクトのポーズ推定により、新しいオブジェクトが強力な一般化可能性が示されています。
ただし、既存の方法では、多くの場合、完全に再構築された3Dモデルまたはオブジェクトを完全にカバーする多数の参照画像が必要です。
オブジェクトの外観とジオメトリのフラグメントのみをキャプチャする部分的な参照からの6Dポーズを推定することは、依然として困難です。
これに対処するために、6Dオブジェクトのポーズ推定と部分的な参照用に設計されたオンラインオブジェクトの完了に対する不確実なアプローチであるUAポーズを提案します。
（1）既知のポーズを備えたRGBD画像の限られたセットまたは（2）単一の2D画像へのアクセスを想定しています。
最初のケースでは、提供された画像とポーズに基づいて部分オブジェクト3Dモデルを初期化しますが、2番目には画像から3Dテクニックを使用して、初期オブジェクト3Dモデルを生成します。
私たちの方法は、不完全な3Dモデルに不確実性を統合し、見られた領域と目に見えない領域を区別します。
この不確実性により、ポーズの推定における信頼評価が可能になり、オンラインオブジェクトの完了のための不確実性を認識したサンプリング戦略を導き、ポーズ推定精度の堅牢性を高め、オブジェクトの完全性を向上させます。
ロボットと人間の手によって操作されたYCBオブジェクトのRGBDシーケンスを含む、YCB-Video、Ycbineoat、およびHO3Dデータセットに関する方法を評価します。
実験結果は、特にオブジェクトの観測が不完全または部分的にキャプチャされている場合、既存の方法よりも大幅なパフォーマンスの改善を示しています。
プロジェクトページ：https：//minfenli.github.io/ua-pose/

要約(オリジナル)

6D object pose estimation has shown strong generalizability to novel objects. However, existing methods often require either a complete, well-reconstructed 3D model or numerous reference images that fully cover the object. Estimating 6D poses from partial references, which capture only fragments of an object’s appearance and geometry, remains challenging. To address this, we propose UA-Pose, an uncertainty-aware approach for 6D object pose estimation and online object completion specifically designed for partial references. We assume access to either (1) a limited set of RGBD images with known poses or (2) a single 2D image. For the first case, we initialize a partial object 3D model based on the provided images and poses, while for the second, we use image-to-3D techniques to generate an initial object 3D model. Our method integrates uncertainty into the incomplete 3D model, distinguishing between seen and unseen regions. This uncertainty enables confidence assessment in pose estimation and guides an uncertainty-aware sampling strategy for online object completion, enhancing robustness in pose estimation accuracy and improving object completeness. We evaluate our method on the YCB-Video, YCBInEOAT, and HO3D datasets, including RGBD sequences of YCB objects manipulated by robots and human hands. Experimental results demonstrate significant performance improvements over existing methods, particularly when object observations are incomplete or partially captured. Project page: https://minfenli.github.io/UA-Pose/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google