Evaluate Geometry of Radiance Field with Low-frequency Color Prior

要約

タイトル：低周波カラー事前処理による放射輝度場の幾何学的評価

要約：

– 放射輝度場は3Dシーンの効果的な表現であり、新しい視点合成や3Dリコンストラクションで広く採用されています。
– しかし、密度場（幾何学）を評価することは依然として開かれている挑戦的な問題であり、グラウンドトゥルースを得ることはほとんど不可能です。
– グラウンドトゥルースを得る代替間接ソリューションとして、密度場を点群に変換し、スキャンされたグラウンドトゥルースとのChamfer距離を計算することがあります。
– しかし、多くの広く使用されているデータセットには、スキャンプロセスと機器が高価で複雑であるため、ポイントクラウドのグラウンドトゥルースがありません。
– そこで、観測画像のみで幾何学を評価できる新しいメトリックであるInverse Mean Residual Color（IMRC）を提案します。
– 我々の鍵となる洞察力は、幾何学が優れれば優れるほど、計算されるカラーフィールドが低周波数であることです。
– この洞察から、再構築された密度場と観察画像が与えられた場合、低周波数球面調和関数でカラーフィールドを近似し、逆平均残差カラーを計算するための閉形式法を設計します。
– IMRCが高いほど幾何学が優れているため、定量的・定性的な実験結果は、提案されたIMRCメトリックの有効性を確認しています。
– また、IMRCを使用していくつかの最新の状態-of-the-art手法をベンチマークとして扱っており、関連する将来の研究を促進しています。

要約(オリジナル)

Radiance field is an effective representation of 3D scenes, which has been widely adopted in novel-view synthesis and 3D reconstruction. It is still an open and challenging problem to evaluate the geometry, i.e., the density field, as the ground-truth is almost impossible to be obtained. One alternative indirect solution is to transform the density field into a point-cloud and compute its Chamfer Distance with the scanned ground-truth. However, many widely-used datasets have no point-cloud ground-truth since the scanning process along with the equipment is expensive and complicated. To this end, we propose a novel metric, named Inverse Mean Residual Color (IMRC), which can evaluate the geometry only with the observation images. Our key insight is that the better the geometry is, the lower-frequency the computed color field is. From this insight, given reconstructed density field and the observation images, we design a closed-form method to approximate the color field with low-frequency spherical harmonics and compute the inverse mean residual color. Then the higher the IMRC, the better the geometry. Qualitative and quantitative experimental results verify the effectiveness of our proposed IMRC metric. We also benchmark several state-of-the-art methods using IMRC to promote future related research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI