Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis

要約

Neural Radiance Fields (NeRF) は、数百のビューを必要としたり、まばらな設定でアーティファクトが発生したりするにもかかわらず、大規模で境界のないシーンであっても、驚くべき斬新なビュー合成機能を示しています。
それらの最適化は、視覚的な重複がわずかしかない場合、形状と放射のあいまいさの影響を受けます。
これにより、誤ったシーンのジオメトリやアーティファクトが発生します。
この論文では、これらの制限に対処するために NeRF 独自のビュー合成機能を活用する、シンプルで一般的な多段階データ拡張アプローチである Re-Nerfing を提案します。
Re-Nerfing を使用して、次のように新しいビューの幾何学的一貫性を強化します。 まず、利用可能なビューを使用して NeRF をトレーニングします。
次に、最適化された NeRF を使用して、ビュー選択戦略を使用して元のビューの周囲に疑似ビューを合成し、カバレッジを向上させ、ビューの品質を維持します。
最後に、元の画像と不確実な領域をマスクする疑似ビューの両方を使用して 2 番目の NeRF をトレーニングします。
ガウス スプラッティングを含む mip-NeRF 360 データセット上のさまざまなパイプラインに Re-Nerfing を適用する広範な実験は、より高密度およびより疎な入力シナリオで、外部データや監視なしで達成可能な改善についての貴重な洞察を提供します。
プロジェクトページ：https://renerfing.github.io

要約(オリジナル)

Neural Radiance Fields (NeRFs) have shown remarkable novel view synthesis capabilities even in large-scale, unbounded scenes, albeit requiring hundreds of views or introducing artifacts in sparser settings. Their optimization suffers from shape-radiance ambiguities wherever only a small visual overlap is available. This leads to erroneous scene geometry and artifacts. In this paper, we propose Re-Nerfing, a simple and general multi-stage data augmentation approach that leverages NeRF’s own view synthesis ability to address these limitations. With Re-Nerfing, we enhance the geometric consistency of novel views as follows: First, we train a NeRF with the available views. Then, we use the optimized NeRF to synthesize pseudo-views around the original ones with a view selection strategy to improve coverage and preserve view quality. Finally, we train a second NeRF with both the original images and the pseudo views masking out uncertain regions. Extensive experiments applying Re-Nerfing on various pipelines on the mip-NeRF 360 dataset, including Gaussian Splatting, provide valuable insights into the improvements achievable without external data or supervision, on denser and sparser input scenarios. Project page: https://renerfing.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google