ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields

要約

新しいビューの合成は、Neural Radiance Fields (NeRF) の出現により、最近大きく進歩しました。
DietNeRF は、入力画像のない未知の視点に対する新しい損失関数を導入することで、わずか数枚の画像からこのタスクを達成することを目的とした NeRF の拡張機能です。
損失関数は、入力画像が異なる視点でキャプチャされた場合でも、画像には同じオブジェクトが含まれているため、事前トレーニングされた特徴抽出器が同じ特徴を出力するはずであると想定しています。
ただし、この仮定は理想的ですが、実際には、視点が継続的に変化すると、特徴ベクトルも継続的に変化することが知られています。
したがって、この仮定はトレーニングに悪影響を与える可能性があります。
この有害なトレーニングを回避するために、隣接する既知の視点から補間された特徴を使用して未知の視点での特徴ベクトルを監視する方法である ManifoldNeRF を提案します。
この方法は、補間された特徴によって未知の視点ごとに適切な監視を提供するため、ボリューム表現は DietNeRF よりもよく学習されます。
実験結果は、提案された方法が複雑なシーンにおいて他の方法よりも優れたパフォーマンスを発揮することを示しています。
また、一連の視点からいくつかの視点のサブセットを実験し、実際の環境にとって効果的な視点のセットを特定しました。
これにより、現実世界に適用するための視点パターンの基本的な方針が提供されました。
コードは https://github.com/haganelego/ManifoldNeRF_BMVC2023 で入手できます。

要約(オリジナル)

Novel view synthesis has recently made significant progress with the advent of Neural Radiance Fields (NeRF). DietNeRF is an extension of NeRF that aims to achieve this task from only a few images by introducing a new loss function for unknown viewpoints with no input images. The loss function assumes that a pre-trained feature extractor should output the same feature even if input images are captured at different viewpoints since the images contain the same object. However, while that assumption is ideal, in reality, it is known that as viewpoints continuously change, also feature vectors continuously change. Thus, the assumption can harm training. To avoid this harmful training, we propose ManifoldNeRF, a method for supervising feature vectors at unknown viewpoints using interpolated features from neighboring known viewpoints. Since the method provides appropriate supervision for each unknown viewpoint by the interpolated features, the volume representation is learned better than DietNeRF. Experimental results show that the proposed method performs better than others in a complex scene. We also experimented with several subsets of viewpoints from a set of viewpoints and identified an effective set of viewpoints for real environments. This provided a basic policy of viewpoint patterns for real-world application. The code is available at https://github.com/haganelego/ManifoldNeRF_BMVC2023

arxiv情報

提供元, 利用サービス

arxiv.jp, Google