Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis

要約

NeRF やガウス スプラッティングなどの最近のニューラル レンダリングおよび再構成技術は、優れた新規ビュー合成機能を示していますが、高品質の新規ビューをレンダリングするには、さまざまな視点からのシーンの数百枚の画像が必要です。
利用可能な画像が少なくなると、これらの方法は基礎となる 3D ジオメトリを正しく三角測量できなくなり、最適ではない解に収束するため、失敗し始めます。
これらの障害は、シーンのまばらに観察される領域での浮遊物やぼやけたレンダリングとして現れることがあります。
この論文では、この問題に取り組むために新しいビュー合成自体を活用する、シンプルで一般的なアドオン アプローチである Re-Nerfing を提案します。
すでにトレーニングされた NVS メソッドを使用して、既存のビューの間に新しいビューをレンダリングし、トレーニング データを拡張して 2 番目のモデルを最適化します。
これにより、追加のマルチビュー制約が導入され、2 番目のモデルがより良いソリューションに収束できるようになります。
Re-Nerfing により、mip-NeRF 360 および LLFF データセットのスパース ビュー設定における NeRF およびガウス スプラッティングに基づく複数のパイプラインで大幅な改善が達成されました。
特に、Re-Nerfing は事前の知識や追加の監視信号を必要としないため、柔軟で実用的なアドオンになります。

要約(オリジナル)

Recent neural rendering and reconstruction techniques, such as NeRFs or Gaussian Splatting, have shown remarkable novel view synthesis capabilities but require hundreds of images of the scene from diverse viewpoints to render high-quality novel views. With fewer images available, these methods start to fail since they can no longer correctly triangulate the underlying 3D geometry and converge to a non-optimal solution. These failures can manifest as floaters or blurry renderings in sparsely observed areas of the scene. In this paper, we propose Re-Nerfing, a simple and general add-on approach that leverages novel view synthesis itself to tackle this problem. Using an already trained NVS method, we render novel views between existing ones and augment the training data to optimize a second model. This introduces additional multi-view constraints and allows the second model to converge to a better solution. With Re-Nerfing we achieve significant improvements upon multiple pipelines based on NeRF and Gaussian-Splatting in sparse view settings of the mip-NeRF 360 and LLFF datasets. Notably, Re-Nerfing does not require prior knowledge or extra supervision signals, making it a flexible and practical add-on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google