FrameNeRF: A Simple and Efficient Framework for Few-shot Novel View Synthesis

要約

我々は、数ショットの新規ビュー合成タスクに、高速トレーニング速度と高いレンダリング品質を備えた既製の高速高忠実度 NeRF モデルを適用するように設計された、FrameNeRF と呼ばれる新しいフレームワークを紹介します。
高速高忠実度モデルのトレーニングの安定性は通常、高密度のビューに制限されるため、数ショットの新規ビュー合成タスクには適していません。
この制限に対処するために、正則化モデルをデータ ジェネレーターとして利用して、まばらな入力から密なビューを生成し、その後の高速な高忠実度モデルのトレーニングを容易にします。
これらの密なビューは正則化モデルによって生成された疑似グラウンド トゥルースであるため、元の疎な画像を使用して高速な高忠実度モデルを微調整します。
このプロセスは、モデルが現実的な詳細を学習し、初期の段階で導入されたアーティファクトを修正するのに役立ちます。
既製の正則化モデルと高速で忠実度の高いモデルを活用することで、私たちのアプローチはさまざまなベンチマーク データセットにわたって最先端のパフォーマンスを実現します。

要約(オリジナル)

We present a novel framework, called FrameNeRF, designed to apply off-the-shelf fast high-fidelity NeRF models with fast training speed and high rendering quality for few-shot novel view synthesis tasks. The training stability of fast high-fidelity models is typically constrained to dense views, making them unsuitable for few-shot novel view synthesis tasks. To address this limitation, we utilize a regularization model as a data generator to produce dense views from sparse inputs, facilitating subsequent training of fast high-fidelity models. Since these dense views are pseudo ground truth generated by the regularization model, original sparse images are then used to fine-tune the fast high-fidelity model. This process helps the model learn realistic details and correct artifacts introduced in earlier stages. By leveraging an off-the-shelf regularization model and a fast high-fidelity model, our approach achieves state-of-the-art performance across various benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google