CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency

要約

Neural Radiance Field (NeRF) は、シーンを継続的に表現する能力のおかげで、特に仮想現実 (VR) と拡張現実 (AR) において、新しいビュー合成で目覚ましい結果を示しています。
ただし、少数の入力ビュー画像しか利用できない場合、NeRF は指定されたビューをオーバーフィットする傾向があり、ピクセルの推定深度がほぼ同じ値を共有するようになります。
複雑な事前分布や追加の監視を導入して正則化を行う以前の方法とは異なり、この課題に取り組むために、入力ビュー全体で深さを意識した一貫性を明示的に構築する、シンプルかつ効果的な方法を提案します。
私たちの重要な洞察は、異なる入力ビューで同じ空間点を繰り返しサンプリングすることを強制することで、ビュー間の相互作用を強化できるため、過剰適合の問題を軽減できるということです。
これを達成するために、階層化された表現 (\textit{i.e.}、マルチプレーン画像) 上にニューラル ネットワークを構築します。これにより、サンプリング ポイントを複数の離散平面上でリサンプリングできます。
さらに、目に見えないターゲット ビューを正規化するために、さまざまな入力ビューからのレンダリングされた色と深度が同じになるように制約します。
シンプルではありますが、広範な実験により、私たちが提案した方法が最先端の方法よりも優れた合成品質を達成できることが実証されました。

要約(オリジナル)

Neural Radiance Field (NeRF) has shown impressive results in novel view synthesis, particularly in Virtual Reality (VR) and Augmented Reality (AR), thanks to its ability to represent scenes continuously. However, when just a few input view images are available, NeRF tends to overfit the given views and thus make the estimated depths of pixels share almost the same value. Unlike previous methods that conduct regularization by introducing complex priors or additional supervisions, we propose a simple yet effective method that explicitly builds depth-aware consistency across input views to tackle this challenge. Our key insight is that by forcing the same spatial points to be sampled repeatedly in different input views, we are able to strengthen the interactions between views and therefore alleviate the overfitting problem. To achieve this, we build the neural networks on layered representations (\textit{i.e.}, multiplane images), and the sampling point can thus be resampled on multiple discrete planes. Furthermore, to regularize the unseen target views, we constrain the rendered colors and depths from different input views to be the same. Although simple, extensive experiments demonstrate that our proposed method can achieve better synthesis quality over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google