Geometry-aware Reconstruction and Fusion-refined Rendering for Generalizable Neural Radiance Fields

要約

一般化可能な NeRF は、目に見えないシーンに対して新しいビューを合成することを目的としています。
一般的な手法には、ジオメトリ再構築のための分散ベースのコスト ボリュームの構築と、新しいビューをデコードするための 3D 記述子のエンコードが含まれます。
ただし、既存の方法では、不正確なジオメトリ、次善の記述子、およびデコード戦略により、困難な状況では一般化能力が制限されます。
私たちはこれらの問題に点ごとに対処します。
まず、同じ点に対応するピクセルの特徴が、オクルージョンや反射によって異なるビュー間で一貫性がない可能性があるため、分散ベースのコスト ボリュームが失敗パターンを示していることがわかります。
一貫したピクセル ペアの寄与を増幅し、一貫性のないピクセル ペアを抑制するために、Adaptive Cost Aggregation (ACA) アプローチを導入します。
2D フィーチャを記述子に融合するだけの以前の方法とは異なり、私たちのアプローチでは空間ビュー アグリゲーター (SVA) を導入し、空間およびビュー間の相互作用を通じて 3D コンテキストを記述子に組み込みます。
記述子をデコードすると、2 つの既存のデコード戦略が異なる領域で優れており、補完的であることがわかります。
両方の利点を活用するために、Consistency-Aware Fusion (CAF) 戦略が提案されています。
上記の ACA、SVA、および CAF を、Geometry-aware Reconstruction and Fusion-refined Rendering (GeFu) と呼ばれる粗いから細かいまでのフレームワークに組み込みます。
GeFu は、複数のデータセットにわたって最先端のパフォーマンスを実現します。
コードは https://github.com/TQTQliu/GeFu で入手できます。

要約(オリジナル)

Generalizable NeRF aims to synthesize novel views for unseen scenes. Common practices involve constructing variance-based cost volumes for geometry reconstruction and encoding 3D descriptors for decoding novel views. However, existing methods show limited generalization ability in challenging conditions due to inaccurate geometry, sub-optimal descriptors, and decoding strategies. We address these issues point by point. First, we find the variance-based cost volume exhibits failure patterns as the features of pixels corresponding to the same point can be inconsistent across different views due to occlusions or reflections. We introduce an Adaptive Cost Aggregation (ACA) approach to amplify the contribution of consistent pixel pairs and suppress inconsistent ones. Unlike previous methods that solely fuse 2D features into descriptors, our approach introduces a Spatial-View Aggregator (SVA) to incorporate 3D context into descriptors through spatial and inter-view interaction. When decoding the descriptors, we observe the two existing decoding strategies excel in different areas, which are complementary. A Consistency-Aware Fusion (CAF) strategy is proposed to leverage the advantages of both. We incorporate the above ACA, SVA, and CAF into a coarse-to-fine framework, termed Geometry-aware Reconstruction and Fusion-refined Rendering (GeFu). GeFu attains state-of-the-art performance across multiple datasets. Code is available at https://github.com/TQTQliu/GeFu .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google