MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs

要約

Neural Radiance Field (NeRF) は、そのシンプルなコンセプトと最先端の品質により、新しいビュー合成の新境地を切り開きました。
ただし、さまざまなカメラポーズの画像の密なセットでトレーニングしない限り、パフォーマンスが大幅に低下するため、実用的なアプリケーションが妨げられます。
この問題に対処する以前の方法は有望な結果を達成しましたが、追加のトレーニング リソースに大きく依存しており、トレーニング効率を追求する疎入力の新規ビュー合成の哲学に反しています。
この作業では、混合密度モデルで光線をモデル化することにより、スパース入力からの新しいビュー合成のための効果的なトレーニング戦略である MixNeRF を提案します。
私たちの MixNeRF は、分布の混合でモデル化することにより、光線サンプルに沿った RGB カラーの同時分布を推定します。
また、3D シーン ジオメトリと高度に相関する、有用なトレーニング目的として、レイ深度推定の新しいタスクを提案します。
さらに、推定されたレイ深度に基づいて再生成されたブレンディング ウェイトで色を再モデル化し、色と視点のロバスト性をさらに向上させます。
当社の MixNeRF は、トレーニングと推論の優れた効率により、さまざまな標準ベンチマークで他の最先端の方法よりも優れています。

要約(オリジナル)

Neural Radiance Field (NeRF) has broken new ground in the novel view synthesis due to its simple concept and state-of-the-art quality. However, it suffers from severe performance degradation unless trained with a dense set of images with different camera poses, which hinders its practical applications. Although previous methods addressing this problem achieved promising results, they relied heavily on the additional training resources, which goes against the philosophy of sparse-input novel-view synthesis pursuing the training efficiency. In this work, we propose MixNeRF, an effective training strategy for novel view synthesis from sparse inputs by modeling a ray with a mixture density model. Our MixNeRF estimates the joint distribution of RGB colors along the ray samples by modeling it with mixture of distributions. We also propose a new task of ray depth estimation as a useful training objective, which is highly correlated with 3D scene geometry. Moreover, we remodel the colors with regenerated blending weights based on the estimated ray depth and further improves the robustness for colors and viewpoints. Our MixNeRF outperforms other state-of-the-art methods in various standard benchmarks with superior efficiency of training and inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google