MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse Inputs

要約

タイトル：MixNeRF：希薄な入力からの新規ビュー合成のための混合密度を用いたレイモデル

要約：
-NeRFは、シンプルなコンセプトと最新の品質により、新規ビュー合成において新しい地平を切り拓いた。しかし、異なるカメラ位置で撮影された密集な画像セットで訓練されない限り、重大なパフォーマンスの低下に苦しむため、実用には向かない。
-前の手法は、この問題に対処するために有望な結果を達成したが、追加のトレーニングリソースに重点を置く必要があり、トレーニング効率を追求する sparse-input novel-view synthesis の理念に反する。
-本研究では、混合密度モデルを用いてレイをモデリングし、スパースな入力から新しい視点の合成のための効果的なトレーニング戦略 MixNeRF を提案する。
-MixNeRF は、分布の混合を用いてレイサンプルに沿った RGB カラーの同時分布を推定する。また、3Dシーンジオメトリと高度に相関している有用なトレーニング目的として、ray depth estimation の新しいタスクを提案する。
-さらに、推定されたレイ深度に基づいて、生成されたブレンディングウェイトで色をリモデル化し、色と視点のロバスト性をさらに向上させる。
-MixNeRF は、優れたトレーニングおよび推論の効率性に加え、さまざまな標準ベンチマークで他の最新の手法を圧倒的に上回る性能を発揮する。

要約(オリジナル)

Neural Radiance Field (NeRF) has broken new ground in the novel view synthesis due to its simple concept and state-of-the-art quality. However, it suffers from severe performance degradation unless trained with a dense set of images with different camera poses, which hinders its practical applications. Although previous methods addressing this problem achieved promising results, they relied heavily on the additional training resources, which goes against the philosophy of sparse-input novel-view synthesis pursuing the training efficiency. In this work, we propose MixNeRF, an effective training strategy for novel view synthesis from sparse inputs by modeling a ray with a mixture density model. Our MixNeRF estimates the joint distribution of RGB colors along the ray samples by modeling it with mixture of distributions. We also propose a new task of ray depth estimation as a useful training objective, which is highly correlated with 3D scene geometry. Moreover, we remodel the colors with regenerated blending weights based on the estimated ray depth and further improves the robustness for colors and viewpoints. Our MixNeRF outperforms other state-of-the-art methods in various standard benchmarks with superior efficiency of training and inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI