BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes

要約

Neural Radiance Fields (NeRF) は優れた品質を実証していますが、トレーニング期間が長くなるのには依然として限界があります。
一般化可能な MVS ベースの NeRF はトレーニング時間を軽減できますが、多くの場合、品質とのトレードオフが発生します。
このペーパーでは、大規模シーンにおける MVS ベースの NeRF のレンダリング品質を向上させる、BoostMVSNeRF と呼ばれる新しいアプローチを紹介します。
まず、MVS ベースの NeRF 手法の制限 (入力ビューの制限によるビューポート カバレッジの制限やアーティファクトなど) を特定します。
次に、ボリューム レンダリング中に複数のコスト ボリュームを選択して組み合わせる新しい方法を提案することで、これらの制限に対処します。
私たちのメソッドはトレーニングを必要とせず、フィードフォワード方式であらゆる MVS ベースの NeRF メソッドに適応して、レンダリング品質を向上させることができます。
さらに、私たちのアプローチはエンドツーエンドでトレーニング可能でもあり、特定のシーンでの微調整が可能です。
大規模なデータセットでの実験を通じてこの方法の有効性を実証し、大規模なシーンや無制限の屋外シナリオでレンダリング品質が大幅に向上することを示しています。
BoostMVSNeRFs のソースコードは https://su-terry.github.io/BoostMVSNeRFs/ で公開しています。

要約(オリジナル)

While Neural Radiance Fields (NeRFs) have demonstrated exceptional quality, their protracted training duration remains a limitation. Generalizable and MVS-based NeRFs, although capable of mitigating training time, often incur tradeoffs in quality. This paper presents a novel approach called BoostMVSNeRFs to enhance the rendering quality of MVS-based NeRFs in large-scale scenes. We first identify limitations in MVS-based NeRF methods, such as restricted viewport coverage and artifacts due to limited input views. Then, we address these limitations by proposing a new method that selects and combines multiple cost volumes during volume rendering. Our method does not require training and can adapt to any MVS-based NeRF methods in a feed-forward fashion to improve rendering quality. Furthermore, our approach is also end-to-end trainable, allowing fine-tuning on specific scenes. We demonstrate the effectiveness of our method through experiments on large-scale datasets, showing significant rendering quality improvements in large-scale scenes and unbounded outdoor scenarios. We release the source code of BoostMVSNeRFs at https://su-terry.github.io/BoostMVSNeRFs/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google