MutualNeRF: Improve the Performance of NeRF under Limited Samples with Mutual Information Theory

要約

このペーパーでは、相互情報理論を使用した限られたサンプルの下で、ニューラル放射輝度フィールド（NERF）のパフォーマンスを強化するフレームワークであるMutulnerfを紹介します。
NERFは3Dシーンの合成に優れていますが、限られたデータと、事前知識を導入することを目的とした既存の方法で課題が生じます。
マクロ（セマンティック）とマイクロ（ピクセル）レベルの両方を考慮して、画像間の相関を均一に測定するメトリックとして、シンプルだが理論的に堅牢な概念である相互情報を紹介します。
まばらなビューサンプリングの場合、地上の真理画像を事前に知らずに相互情報を最小化することにより、より重複しないシーン情報を含む追加の視点を戦略的に選択します。
私たちのフレームワークは、貪欲なアルゴリズムを採用しており、ほぼ最適なソリューションを提供します。
少数のショットビューの合成の場合、推測された画像とグラウンドトゥルースの間の相互情報を最大化し、推測された画像が既知の画像からより関連性の高い情報を得ることを期待します。
これは、効率的なプラグアンドプレイの正規化条件を組み込むことで達成されます。
限られたサンプルの下での実験は、さまざまな設定での最先端のベースラインよりも一貫した改善を示し、フレームワークの有効性を確認しています。

要約(オリジナル)

This paper introduces MutualNeRF, a framework enhancing Neural Radiance Field (NeRF) performance under limited samples using Mutual Information Theory. While NeRF excels in 3D scene synthesis, challenges arise with limited data and existing methods that aim to introduce prior knowledge lack theoretical support in a unified framework. We introduce a simple but theoretically robust concept, Mutual Information, as a metric to uniformly measure the correlation between images, considering both macro (semantic) and micro (pixel) levels. For sparse view sampling, we strategically select additional viewpoints containing more non-overlapping scene information by minimizing mutual information without knowing ground truth images beforehand. Our framework employs a greedy algorithm, offering a near-optimal solution. For few-shot view synthesis, we maximize the mutual information between inferred images and ground truth, expecting inferred images to gain more relevant information from known images. This is achieved by incorporating efficient, plug-and-play regularization terms. Experiments under limited samples show consistent improvement over state-of-the-art baselines in different settings, affirming the efficacy of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google