Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs

要約

タイトル: Nerfbusters：カジュアルに収録されたNeRFから幽霊風のアーティファクトを除去する

要約:
– NeRFは、何らかの多視点収録から3Dオブジェクトを表現する方法である。
– 一般に、NeRFを描画している場合、カメラ軌跡に沿って描画されるため、描画領域の外側で特徴が欠落したり、不完全なジオメトリのためのアーティファクトが発生したりする。
– 既存の評価プロトコルは、通常、トレーニング収録の8分の1フレームごとに画像品質を評価しているため、これらの効果を捕捉することはできない。
– 提出者らは、新しいデータセットと評価手順を提案し、1つのトレーニング用カメラ軌跡と評価用もう1つのカメラ軌跡の両方でシーンを記録する。
– このより困難な自然環境で、既存の手法では、フォーカスを外れた部分を除去することはできないと判断し、3D拡散法を提案する。
– 提出者らの手法は、3Dの事前知識と新しい密度ベースのスコア蒸留サンプリング損失を活用し、NeRFの最適化中にアーティファクトを排除する。
– 提出者らは、データ駆動型事前知識がカジュアルなキャプチャーのグローバルな改善をもたらすことを示している。

要約(オリジナル)

Casually captured Neural Radiance Fields (NeRFs) suffer from artifacts such as floaters or flawed geometry when rendered outside the camera trajectory. Existing evaluation protocols often do not capture these effects, since they usually only assess image quality at every 8th frame of the training capture. To push forward progress in novel-view synthesis, we propose a new dataset and evaluation procedure, where two camera trajectories are recorded of the scene: one used for training, and the other for evaluation. In this more challenging in-the-wild setting, we find that existing hand-crafted regularizers do not remove floaters nor improve scene geometry. Thus, we propose a 3D diffusion-based method that leverages local 3D priors and a novel density-based score distillation sampling loss to discourage artifacts during NeRF optimization. We show that this data-driven prior removes floaters and improves scene geometry for casual captures.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI