SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image

要約

Neural Radiance Field (NeRF) の急速な発展にもかかわらず、高密度カバーの必要性は、その広範なアプリケーションを大幅に妨げています。
いくつかの最近の作業はこの問題に対処しようと試みましたが、それらはまばらなビュー (まだいくつかあります) で動作するか、単純なオブジェクト/シーンで動作します。
この作業では、より野心的なタスクを検討します。「一度だけ見る」、つまり単一のビューのみを使用して、現実的に複雑な視覚シーンでニューラル放射輝度フィールドをトレーニングします。
この目標を達成するために、慎重に設計されたセマンティックおよびジオメトリの正則化で構成されるシングル ビュー NeRF (SinNeRF) フレームワークを提示します。
具体的には、SinNeRF は、半教師あり学習プロセスを構築します。そこでは、ジオメトリ疑似ラベルとセマンティック疑似ラベルを導入して伝播し、漸進的なトレーニング プロセスを導きます。
NeRF 合成データセット、ローカル ライト フィールド フュージョン データセット、DTU データセットなど、複雑なシーンのベンチマークで広範な実験が行われています。
マルチビュー データセットの事前トレーニングがなくても、SinNeRF は写真のようにリアルな新しいビュー合成結果を生成できることを示します。
単一画像設定では、SinNeRF はすべてのケースで現在の最先端の NeRF ベースラインよりも大幅に優れています。
プロジェクトページ：https://vita-group.github.io/SinNeRF/

要約(オリジナル)

Despite the rapid development of Neural Radiance Field (NeRF), the necessity of dense covers largely prohibits its wider applications. While several recent works have attempted to address this issue, they either operate with sparse views (yet still, a few of them) or on simple objects/scenes. In this work, we consider a more ambitious task: training neural radiance field, over realistically complex visual scenes, by ‘looking only once’, i.e., using only a single view. To attain this goal, we present a Single View NeRF (SinNeRF) framework consisting of thoughtfully designed semantic and geometry regularizations. Specifically, SinNeRF constructs a semi-supervised learning process, where we introduce and propagate geometry pseudo labels and semantic pseudo labels to guide the progressive training process. Extensive experiments are conducted on complex scene benchmarks, including NeRF synthetic dataset, Local Light Field Fusion dataset, and DTU dataset. We show that even without pre-training on multi-view datasets, SinNeRF can yield photo-realistic novel-view synthesis results. Under the single image setting, SinNeRF significantly outperforms the current state-of-the-art NeRF baselines in all cases. Project page: https://vita-group.github.io/SinNeRF/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google