Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs

要約

タイトル：Nerfbusters：カジュアルにキャプチャされたNeRFから霊的なアーティファクトを除去する

要約：
– Casually captured Neural Radiance Fields（NeRF）には、カメラ軌道外でレンダリングするとフローターや不完全なジオメトリなどのアーティファクトが発生する。
– 既存の評価プロトコルは、通常、トレーニングキャプチャの8フレームごとに画像品質を評価するため、これらの効果を捉えることができないことがある。
– 新しいデータセットと評価手順を提案し、シーンのために2つのカメラ軌道を記録することで、次世代ビュー合成の進歩を推進する。
– これはトレーニングに使用され、評価には別のものを使用する。
– もっと難しい野外設定では、既存の手作りの正則化子はフローターを除去せず、シーンジオメトリーを改善しません。
– したがって、私たちは、局所的な3Dプライオリティを活用し、新しい密度ベースのスコア蒸留サンプリング損失を利用して、NeRF最適化中にアーティファクトを防止する3D拡散ベースの方法を提案する。
– このデータ駆動の事前処理により、カジュアルキャプチャでのフローターの除去とシーンジオメトリーの改善が実証されている。

要約(オリジナル)

Casually captured Neural Radiance Fields (NeRFs) suffer from artifacts such as floaters or flawed geometry when rendered outside the camera trajectory. Existing evaluation protocols often do not capture these effects, since they usually only assess image quality at every 8th frame of the training capture. To push forward progress in novel-view synthesis, we propose a new dataset and evaluation procedure, where two camera trajectories are recorded of the scene: one used for training, and the other for evaluation. In this more challenging in-the-wild setting, we find that existing hand-crafted regularizers do not remove floaters nor improve scene geometry. Thus, we propose a 3D diffusion-based method that leverages local 3D priors and a novel density-based score distillation sampling loss to discourage artifacts during NeRF optimization. We show that this data-driven prior removes floaters and improves scene geometry for casual captures.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI