Entangled View-Epipolar Information Aggregation for Generalizable Neural Radiance Fields

要約

一般化可能な NeRF は、新しいシーン全体で新しいビューを直接合成できるため、バニラ NeRF でのシーン固有の再トレーニングの必要がなくなります。
これらのアプローチを可能にする重要な要素は、ソースビューの特徴を集約することによって一般化可能な 3D 表現を抽出することです。
この論文では、EVE-NeRFと呼ばれるEntangled View-Epipolar Information Aggregation手法を提案します。
クロスビュー情報とエピポーラ沿い情報を独立して考慮する既存の方法とは異なり、EVE-NeRF は、集約プロセスの前にシーン不変の外観の連続性とジオメトリの一貫性を注入することにより、ビューとエピポーラの特徴の集約を絡み合った方法で実行します。
私たちのアプローチは、1 次元の相互作用に起因する固有の幾何学的および外観上の制約の潜在的な欠如を効果的に軽減し、3D 表現の汎用性をさらに高めます。
EVE-NeRF は、さまざまな評価シナリオにわたって最先端のパフォーマンスを実現します。
広範な実験により、一般的な 1 次元の集約と比較して、エンタングル ネットワークは 3D シーンのジオメトリと外観の再構築の精度において優れていることが実証されています。私たちのプロジェクト ページは https://github.com/tatakai1/EVENeRF です。

要約(オリジナル)

Generalizable NeRF can directly synthesize novel views across new scenes, eliminating the need for scene-specific retraining in vanilla NeRF. A critical enabling factor in these approaches is the extraction of a generalizable 3D representation by aggregating source-view features. In this paper, we propose an Entangled View-Epipolar Information Aggregation method dubbed EVE-NeRF. Different from existing methods that consider cross-view and along-epipolar information independently, EVE-NeRF conducts the view-epipolar feature aggregation in an entangled manner by injecting the scene-invariant appearance continuity and geometry consistency priors to the aggregation process. Our approach effectively mitigates the potential lack of inherent geometric and appearance constraint resulting from one-dimensional interactions, thus further boosting the 3D representation generalizablity. EVE-NeRF attains state-of-the-art performance across various evaluation scenarios. Extensive experiments demonstate that, compared to prevailing single-dimensional aggregation, the entangled network excels in the accuracy of 3D scene geometry and appearance reconstruction.Our project page is https://github.com/tatakai1/EVENeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google