AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training

要約

Neural Radiance Fields (NeRF) は、3D シーンを連続関数としてモデル化するための強力な表現です。
NeRF は、ビューに依存するエフェクトを使用して複雑な 3D シーンをレンダリングできますが、高解像度設定でその限界を探る努力はほとんどされていません。
具体的には、既存の NeRF ベースの方法は、高解像度の実際のシーンを再構築する際に、非常に多くのパラメーター、位置合わせされていない入力データ、過度に滑らかな詳細など、いくつかの制限に直面しています。
この作業では、高解像度データを使用した NeRF のトレーニングに関する最初のパイロット研究を実施し、対応するソリューションを提案します。
2) オブジェクトの移動や小さなカメラのキャリブレーション エラーによって生じる位置ずれに対処するための新しいトレーニング戦略。
3) 高頻度認識損失。
私たちのアプローチは、明らかなトレーニング/テストのコストを導入することなくほぼ無料ですが、さまざまなデータセットでの実験では、現在の最先端の NeRF モデルと比較して、より多くの高周波の詳細を回復できることが示されています。
プロジェクトページ：\url{https://yifanjiang.net/alignerf.}

要約(オリジナル)

Neural Radiance Fields (NeRFs) are a powerful representation for modeling a 3D scene as a continuous function. Though NeRF is able to render complex 3D scenes with view-dependent effects, few efforts have been devoted to exploring its limits in a high-resolution setting. Specifically, existing NeRF-based methods face several limitations when reconstructing high-resolution real scenes, including a very large number of parameters, misaligned input data, and overly smooth details. In this work, we conduct the first pilot study on training NeRF with high-resolution data and propose the corresponding solutions: 1) marrying the multilayer perceptron (MLP) with convolutional layers which can encode more neighborhood information while reducing the total number of parameters; 2) a novel training strategy to address misalignment caused by moving objects or small camera calibration errors; and 3) a high-frequency aware loss. Our approach is nearly free without introducing obvious training/testing costs, while experiments on different datasets demonstrate that it can recover more high-frequency details compared with the current state-of-the-art NeRF models. Project page: \url{https://yifanjiang.net/alignerf.}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google