Correspondences of the Third Kind: Camera Pose Estimation from Object Reflection

要約

コンピューター ビジョンは長い間、画像内のピクセルの対応と物体表面の 3D の対応という 2 種類の対応に依存してきました。
別の種類はありますか? ある場合、それらは私たちのために何をしてくれるのでしょうか?
この論文では、反射対応と呼ばれる 3 番目の種類の対応を導入し、背景に依存せずに物体を見るだけでカメラの姿勢を推定するのに役立つことを示します。
反射対応は、反射世界、つまりオブジェクトの表面によって反射されたシーン内の点の対応です。
オブジェクトの幾何学形状と反射率によりシーンが幾何学的に、また放射分析的に変化し、ピクセルの対応が不正確になります。
各画像から復元されたジオメトリも歪み、つまり一般的な浅浮き彫りの曖昧さによって妨げられ、誤った 3D 対応関係が生じます。
反射対応により、これらの歪みから生じる曖昧さを解決できることを示します。
我々は、ニューラル対応推定器と、3 種類の対応をすべて活用する RANSAC アルゴリズムを導入して、堅牢かつ正確な関節カメラの姿勢と物体の外観だけからの物体の形状を推定します。
この方法は、重なり合う背景の要件を緩和するため、外観モデリングのためのカメラの姿勢推定 (例: NeRF) や反射物体 (例: 道路上の車) の動き推定など、多数の下流タスクの視野を拡大します。
。

要約(オリジナル)

Computer vision has long relied on two kinds of correspondences: pixel correspondences in images and 3D correspondences on object surfaces. Is there another kind, and if there is, what can they do for us? In this paper, we introduce correspondences of the third kind we call reflection correspondences and show that they can help estimate camera pose by just looking at objects without relying on the background. Reflection correspondences are point correspondences in the reflected world, i.e., the scene reflected by the object surface. The object geometry and reflectance alters the scene geometrically and radiometrically, respectively, causing incorrect pixel correspondences. Geometry recovered from each image is also hampered by distortions, namely generalized bas-relief ambiguity, leading to erroneous 3D correspondences. We show that reflection correspondences can resolve the ambiguities arising from these distortions. We introduce a neural correspondence estimator and a RANSAC algorithm that fully leverages all three kinds of correspondences for robust and accurate joint camera pose and object shape estimation just from the object appearance. The method expands the horizon of numerous downstream tasks, including camera pose estimation for appearance modeling (e.g., NeRF) and motion estimation of reflective objects (e.g., cars on the road), to name a few, as it relieves the requirement of overlapping background.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google