Explicit Correspondence Matching for Generalizable Neural Radiance Fields

要約

タイトル：一般化可能なニューラル放射場用の明示的対応マッチング
要約：
– 本研究では、2つ以上の視点を持つ新しい未知の環境に直接一般化できる、新しい一般化可能なニューラル放射場法を提案する。
– 本手法の鍵は、明示的にモデル化された対応マッチング情報で、ボリュームレンダリングのニューラル放射場の色と密度の予測に先立つジオメトリプライオリティを提供することにある。
– 明示的な対応マッチングは、異なるビューの3Dポイントの2D投影でサンプリングされた画像特徴量の余弦類似度で量子化され、表面ジオメトリに関する信頼できる手掛かりを提供できる。
– 以前の方法では、画像特徴量は各ビューで独立に抽出されたが、本手法はTransformerクロスアテンションを利用して、ビュー間の相互作用をモデル化しており、特徴マッチングの品質が大幅に向上している。
– 実験では、本手法がさまざまな評価設定で最高の結果を得ており、学習された余弦特徴類似度とボリューム密度の強い相関関係が示されており、提案手法の効果と優越性が示されている。コードはhttps://github.com/donydchen/matchnerfにあります。

要約(オリジナル)

We present a new generalizable NeRF method that is able to directly generalize to new unseen scenarios and perform novel view synthesis with as few as two source views. The key to our approach lies in the explicitly modeled correspondence matching information, so as to provide the geometry prior to the prediction of NeRF color and density for volume rendering. The explicit correspondence matching is quantified with the cosine similarity between image features sampled at the 2D projections of a 3D point on different views, which is able to provide reliable cues about the surface geometry. Unlike previous methods where image features are extracted independently for each view, we consider modeling the cross-view interactions via Transformer cross-attention, which greatly improves the feature matching quality. Our method achieves state-of-the-art results on different evaluation settings, with the experiments showing a strong correlation between our learned cosine feature similarity and volume density, demonstrating the effectiveness and superiority of our proposed method. Code is at https://github.com/donydchen/matchnerf

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI