MRVM-NeRF: Mask-Based Pretraining for Neural Radiance Fields

要約

タイトル：MRVM-NeRF：マスクベースの事前学習によるニューラル放射束の改善

要約：

– NeRFの多くは汎化能力が低く、1つのモデルで複数のシーンを表現する場合に制限が生じる。
– この問題を改善するため、既存の方法は単に画像特徴に条件付けたNeRFモデルを使用し、全体的な理解や3Dシーンのモデリングが欠けている。
– 他の研究分野でマスクベースのモデリングが大きな成功を収めたことから、我々は汎用可能なNeRF（MRVM-NeRF）のマスクレイとビューモデリング手法を提案する。
– 具体的には、NeRFの核心がレイとビューに沿って3D表現をモデリングすることにあることを考慮し、マルチビューポイントから得られた部分的な情報を破棄することで、レイ沿いのサンプリングされた点の一定割合をマスクし、荒いブランチで生成された対応する特徴を予測することを目的として、ファインステージで処理する。
– このように、事前学習中に学習した3Dシーンの先行知識が、ファインチューニング後に新しいシナリオに対してモデルをより一般化させるのに役立ちます。
– 大規模な実験により、我々の提案するMRVM-NeRFの優位性が、異なる合成および現実世界の設定で定性的および定量的に示された。
– 当社の経験的研究は、NeRFモデルに特化した革新的なMRVMの有効性を明らかにしています。

要約(オリジナル)

Most Neural Radiance Fields (NeRFs) have poor generalization ability, limiting their application when representing multiple scenes by a single model. To ameliorate this problem, existing methods simply condition NeRF models on image features, lacking the global understanding and modeling of the entire 3D scene. Inspired by the significant success of mask-based modeling in other research fields, we propose a masked ray and view modeling method for generalizable NeRF (MRVM-NeRF), the first attempt to incorporate mask-based pretraining into 3D implicit representations. Specifically, considering that the core of NeRFs lies in modeling 3D representations along the rays and across the views, we randomly mask a proportion of sampled points along the ray at fine stage by discarding partial information obtained from multi-viewpoints, targeting at predicting the corresponding features produced in the coarse branch. In this way, the learned prior knowledge of 3D scenes during pretraining helps the model generalize better to novel scenarios after finetuning. Extensive experiments demonstrate the superiority of our proposed MRVM-NeRF under various synthetic and real-world settings, both qualitatively and quantitatively. Our empirical studies reveal the effectiveness of our proposed innovative MRVM which is specifically designed for NeRF models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI