GARF:Geometry-Aware Generalized Neural Radiance Field

要約

NeRF（Neural Radiance Field）は、自由視点レンダリング作業に革命を起こし、素晴らしい成果を上げています。しかし、効率と精度の問題から、その幅広い応用が妨げられている。本研究では、これらの問題を解決するために、Geometry-Aware Generalized Neural Radiance Field (GARF) とGeometry-Aware Dynamic Sampling (GADS) 戦略を用いて、シーンごとの最適化を行わずに未視聴シーンに対してリアルタイムに新規ビューレンダリングと教師なし奥行き推定を実行することを提案する．本手法は、既存の一般化されたNeRFとは異なり、わずか数枚の入力画像からピクセルスケールとジオメトリスケールの両方で未視認シーンを推論する。具体的には、エンコーダ・デコーダ構造と、オクルージョンを回避するための点レベルの学習可能なマルチビュー特徴量融合モジュールにより、ノベルビュー合成の共通属性を学習する。一般化されたモデルにおいてシーンの特徴を保持するために、教師無し深度推定モジュールを導入し、粗い形状を導き出し、レイサンプリング間隔を推定表面の近接空間に絞り込み、期待最大位置でサンプリングする、形状考慮動的サンプリング戦略（GADS）を構成している。さらに、より情報量の多い表現学習を支援するために、マルチレベル意味的整合性損失(MSC)を導入する。屋内外のデータセットを用いた広範な実験により、GARFは最新の一般化NeRF法と比較して、レンダリング品質と3D形状推定を改善しながら、サンプルを25%以上削減できることが示された。

要約(オリジナル)

Neural Radiance Field (NeRF) has revolutionized free viewpoint rendering tasks and achieved impressive results. However, the efficiency and accuracy problems hinder its wide applications. To address these issues, we propose Geometry-Aware Generalized Neural Radiance Field (GARF) with a geometry-aware dynamic sampling (GADS) strategy to perform real-time novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalized NeRFs, our framework infers the unseen scenes on both pixel-scale and geometry-scale with only a few input images. More specifically, our method learns common attributes of novel-view synthesis by an encoder-decoder structure and a point-level learnable multi-view feature fusion module which helps avoid occlusion. To preserve scene characteristics in the generalized model, we introduce an unsupervised depth estimation module to derive the coarse geometry, narrow down the ray sampling interval to proximity space of the estimated surface and sample in expectation maximum position, constituting Geometry-Aware Dynamic Sampling strategy (GADS). Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist more informative representation learning. Extensive experiments on indoor and outdoor datasets show that comparing with state-of-the-art generalized NeRF methods, GARF reduces samples by more than 25\%, while improving rendering quality and 3D geometry estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL