Physically-Based Photometric Bundle Adjustment in Non-Lambertian Environments

要約

フォトメトリック バンドル調整 (PBA) は、ランバート世界を仮定してカメラのポーズと 3D ジオメトリを推定する際に広く使用されています。
ただし、現実の環境では非拡散反射が一般的であるため、測光の一貫性の仮定はしばしば違反されます。
測光の不一致は、既存の PBA メソッドの信頼性に大きな影響を与えます。
この問題を解決するために、我々は物理ベースの新しい PBA 手法を提案します。
具体的には、マテリアル、照明、光路に関する物理ベースの重みを導入します。
これらの重みは、測光上の不一致のレベルが異なるピクセル ペアを区別します。
また、連続画像に基づく材質推定や点群に基づく照明推定に対応するモデルも設計します。
さらに、照明とマテリアルの完全なグラウンド トゥルースを備えた非ランバーシアン シーンの最初の SLAM 関連データセットを確立します。
広範な実験により、当社の PBA メソッドが既存のアプローチより精度が優れていることが実証されました。

要約(オリジナル)

Photometric bundle adjustment (PBA) is widely used in estimating the camera pose and 3D geometry by assuming a Lambertian world. However, the assumption of photometric consistency is often violated since the non-diffuse reflection is common in real-world environments. The photometric inconsistency significantly affects the reliability of existing PBA methods. To solve this problem, we propose a novel physically-based PBA method. Specifically, we introduce the physically-based weights regarding material, illumination, and light path. These weights distinguish the pixel pairs with different levels of photometric inconsistency. We also design corresponding models for material estimation based on sequential images and illumination estimation based on point clouds. In addition, we establish the first SLAM-related dataset of non-Lambertian scenes with complete ground truth of illumination and material. Extensive experiments demonstrated that our PBA method outperforms existing approaches in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google