CVRecon: Rethinking 3D Geometric Feature Learning For Neural Reconstruction

要約

ポーズ画像シーケンスを使用した神経再構成の最近の進歩は目覚ましいものがあります。
しかし、深さ情報が欠如しているため、既存の体積ベースの技術では、カメラ光線全体に沿って物体表面の 2D 画像の特徴を複製するだけです。
私たちは、この重複により空の空間や遮蔽された空間にノイズが生じ、高品質の 3D ジオメトリを作成する際に課題が生じると主張します。
従来のマルチビュー ステレオ手法からインスピレーションを得て、コスト ボリューム内の豊富な幾何学的埋め込みを利用して 3D 幾何学的特徴の学習を促進するように設計された、エンドツーエンドの 3D ニューラル再構成フレームワーク CVRecon を提案します。
さらに、ビュー依存の情報を完全性と堅牢性が向上してエンコードする新しい 3D 幾何学的特徴表現であるレイ コンテキスト補償コスト ボリューム (RCCV) を紹介します。
包括的な実験を通じて、私たちのアプローチがさまざまな指標での再構成の品質を大幅に向上させ、3D ジオメトリの鮮明な詳細を復元することを実証しました。
当社の広範なアブレーション研究により、効果的な 3D 幾何学的特徴学習スキームの開発に関する洞察が得られます。
プロジェクトページ：https://cvrecon.ziyue.cool/

要約(オリジナル)

Recent advances in neural reconstruction using posed image sequences have made remarkable progress. However, due to the lack of depth information, existing volumetric-based techniques simply duplicate 2D image features of the object surface along the entire camera ray. We contend this duplication introduces noise in empty and occluded spaces, posing challenges for producing high-quality 3D geometry. Drawing inspiration from traditional multi-view stereo methods, we propose an end-to-end 3D neural reconstruction framework CVRecon, designed to exploit the rich geometric embedding in the cost volumes to facilitate 3D geometric feature learning. Furthermore, we present Ray-contextual Compensated Cost Volume (RCCV), a novel 3D geometric feature representation that encodes view-dependent information with improved integrity and robustness. Through comprehensive experiments, we demonstrate that our approach significantly improves the reconstruction quality in various metrics and recovers clear fine details of the 3D geometries. Our extensive ablation studies provide insights into the development of effective 3D geometric feature learning schemes. Project page: https://cvrecon.ziyue.cool/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google