Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation

要約

この論文では、一般化可能な神経放射場 (NeRF) の新しいパラダイムを紹介します。
これまでの汎用 NeRF 手法は、マルチビュー ステレオ技術と画像ベースのニューラル レンダリングを組み合わせて汎用化し、印象的な結果をもたらしましたが、3 つの問題がありました。
まず、オクルージョンにより、特徴一致の不一致が生じることがよくあります。
次に、サンプリングされた点と大まかな特徴の集合の個別のプロセスにより、幾何学的な不連続性や局所的に鋭い形状の歪みやアーティファクトが発生します。
第三に、ソース ビューがターゲット ビューに十分近くない場合、画像ベースの表現は深刻な劣化を経験します。
課題に対処するために、画像ベースではなくポイントベースのレンダリングに基づいて一般化可能なニューラル フィールドを構築する最初のパラダイムを提案します。これを一般化可能なニューラル ポイント フィールド (GPF) と呼びます。
私たちのアプローチは、幾何学的事前分布によって可視性を明示的にモデル化し、それらをニューラル特徴で強化します。
レンダリング速度と再構成品質の両方を向上させるための、新しい不均一ログ サンプリング戦略を提案します。
さらに、特徴集約のための機能で空間的に強化された学習可能なカーネルを提示し、ジオメトリが大幅に変化する場所の歪みを軽減します。
さらに、私たちの表現は簡単に操作できます。
実験の結果、一般化設定と微調整設定の両方において、私たちのモデルが 3 つのデータセットのすべての対応モデルやベンチマークよりも優れたジオメトリ、ビューの一貫性、レンダリング品質を提供できることが示され、一般化可能な NeRF の新しいパラダイムの可能性が予備的に証明​​されました。

要約(オリジナル)

This paper introduces a novel paradigm for the generalizable neural radiance field (NeRF). Previous generic NeRF methods combine multiview stereo techniques with image-based neural rendering for generalization, yielding impressive results, while suffering from three issues. First, occlusions often result in inconsistent feature matching. Then, they deliver distortions and artifacts in geometric discontinuities and locally sharp shapes due to their individual process of sampled points and rough feature aggregation. Third, their image-based representations experience severe degradations when source views are not near enough to the target view. To address challenges, we propose the first paradigm that constructs the generalizable neural field based on point-based rather than image-based rendering, which we call the Generalizable neural Point Field (GPF). Our approach explicitly models visibilities by geometric priors and augments them with neural features. We propose a novel nonuniform log sampling strategy to improve both rendering speed and reconstruction quality. Moreover, we present a learnable kernel spatially augmented with features for feature aggregations, mitigating distortions at places with drastically varying geometries. Besides, our representation can be easily manipulated. Experiments show that our model can deliver better geometries, view consistencies, and rendering quality than all counterparts and benchmarks on three datasets in both generalization and finetuning settings, preliminarily proving the potential of the new paradigm for generalizable NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google