BungeeNeRF: Progressive Neural Radiance Field for Extreme Multi-scale Scene Rendering

要約

タイトル：BungeeNeRF：極端なマルチスケールシーンのレンダリングのためのプログレッシブニューラルラディアンスフィールド

要約：

– BungeeNeRFは、単一スケールではなく、大幅に異なるスケールでの画像変化が観察されるマルチスケールケースに焦点を当てたプログレッシブニューラルラディアンスフィールドです。
– 実世界の3D環境や風景、マインクラフト3Dモデルなどで広範な視点が存在し、非常に異なる細部レベルを持つマルチスケールレンダリングが必要です。
– この問題を解決するために、遠方の視野を浅いベースブロックでフィットさせたあと、BungeeNeRFは段階的に新しいブロックを追加し、逐次的により複雑な詳細を展開させることで、より近い視野に適応します。
– BungeeNeRFは、都市モデル、合成、ドローンキャプチャデータなどの複数のデータソースで多様なマルチスケールシーンのモデリングにおいて優れた性能を発揮し、異なる細部レベルでの高品質レンダリングに対応しています。

要約(オリジナル)

Neural radiance fields (NeRF) has achieved outstanding performance in modeling 3D objects and controlled scenes, usually under a single scale. In this work, we focus on multi-scale cases where large changes in imagery are observed at drastically different scales. This scenario vastly exists in real-world 3D environments, such as city scenes, with views ranging from satellite level that captures the overview of a city, to ground level imagery showing complex details of an architecture; and can also be commonly identified in landscape and delicate minecraft 3D models. The wide span of viewing positions within these scenes yields multi-scale renderings with very different levels of detail, which poses great challenges to neural radiance field and biases it towards compromised results. To address these issues, we introduce BungeeNeRF, a progressive neural radiance field that achieves level-of-detail rendering across drastically varied scales. Starting from fitting distant views with a shallow base block, as training progresses, new blocks are appended to accommodate the emerging details in the increasingly closer views. The strategy progressively activates high-frequency channels in NeRF’s positional encoding inputs and successively unfolds more complex details as the training proceeds. We demonstrate the superiority of BungeeNeRF in modeling diverse multi-scale scenes with drastically varying views on multiple data sources (city models, synthetic, and drone captured data) and its support for high-quality rendering in different levels of detail.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI