ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning

要約

タイトル「ContraNeRF: Synthetic-to-real Novel View Synthesisに対して対照的学習を用いた一般的なニューラル放射線場」
要約：
– 「NeRF」ベースのモデルは、「Unseen scenes」の一般的なニューラル放射線場に関する最近の研究の多くが研究されていますが、多くの実用的なアプリケーションで求められる「Synthetic-to-real」汎用性を考慮していません。
– この研究では、Synthetic-to-real novel view synthesisにおける合成データの影響を調査し、合成データでトレーニングされたモデルはより鋭く、正確性が低い容積密度を生成する傾向があることが分かりました。
– その結果、容積密度が正しいピクセルの場合、精緻な細部が得られます。そうでない場合は、深刻なアーティファクトが生じます。
– 適切な容積密度を使用する優位性を維持しながら、その負の効果を回避するために、ジオメトリアウェアコントラスト学習を導入して、ジオメトリ制約を持つMulti-view一貫性のある特徴を学習することを提案します。
– 同時に、入力ビューをクエリすることで特徴のジオメトリ認知をさらに強化するためにクロスビューアテンションを採用します。
– 実験は、Synthetic-to-realの設定下で、我々の方法が高品質、細かい詳細がうまく出た画像をレンダリングして、PSNR、SSIM、およびLPIPSの観点から既存の一般的な新しいビュー合成方法を上回ることを示しました。同様に、実際のデータでトレーニングされた場合、我々の方法も最先端の結果を達成しています。

要約(オリジナル)

Although many recent works have investigated generalizable NeRF-based novel view synthesis for unseen scenes, they seldom consider the synthetic-to-real generalization, which is desired in many practical applications. In this work, we first investigate the effects of synthetic data in synthetic-to-real novel view synthesis and surprisingly observe that models trained with synthetic data tend to produce sharper but less accurate volume densities. For pixels where the volume densities are correct, fine-grained details will be obtained. Otherwise, severe artifacts will be produced. To maintain the advantages of using synthetic data while avoiding its negative effects, we propose to introduce geometry-aware contrastive learning to learn multi-view consistent features with geometric constraints. Meanwhile, we adopt cross-view attention to further enhance the geometry perception of features by querying features across input views. Experiments demonstrate that under the synthetic-to-real setting, our method can render images with higher quality and better fine-grained details, outperforming existing generalizable novel view synthesis methods in terms of PSNR, SSIM, and LPIPS. When trained on real data, our method also achieves state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI