Multiplane Prior Guided Few-Shot Aerial Scene Rendering

要約

Neural Radiance Fields (NeRF) は、さまざまな空撮シーンにうまく適用されていますが、監視が限られているために視界がまばらになるという課題に直面しています。
無人航空機 (UAV) は視点範囲やエネルギーの制約に直面する可能性があるため、高密度の航空写真の取得は法外なことが多いです。
この研究では、数ショットの航空シーンのレンダリングに合わせた新しいアプローチである Multiplane Prior guided NeRF (MPNeRF) を紹介します。これは、この分野における先駆的な取り組みです。
私たちの重要な洞察は、航空画像に特有の本質的な幾何学的規則性を利用して、まばらな航空シーンで NeRF を強化できる可能性があるということです。
NeRF とマルチプレーン イメージ (MPI) の動作を調査することにより、マルチプレーン プライアを使用して NeRF のトレーニング プロセスをガイドすることを提案します。
提案された Multiplane Prior は MPI の利点を活用し、SimMIM によって事前にトレーニングされた SwinV2 Transformer による高度な画像理解を組み込んでいます。
私たちの広範な実験により、MPNeRF は、3 つのビューが利用可能な場合でも、SSIM および LPIPS でのパフォーマンスが 3 倍になり、非航空コンテキストで適用される既存の最先端の手法を上回るパフォーマンスを示すことが実証されました。
私たちの研究が、データが限られている航空シーンにおける NeRF ベースのアプリケーションの開発に関する洞察を提供することを願っています。

要約(オリジナル)

Neural Radiance Fields (NeRF) have been successfully applied in various aerial scenes, yet they face challenges with sparse views due to limited supervision. The acquisition of dense aerial views is often prohibitive, as unmanned aerial vehicles (UAVs) may encounter constraints in perspective range and energy constraints. In this work, we introduce Multiplane Prior guided NeRF (MPNeRF), a novel approach tailored for few-shot aerial scene rendering-marking a pioneering effort in this domain. Our key insight is that the intrinsic geometric regularities specific to aerial imagery could be leveraged to enhance NeRF in sparse aerial scenes. By investigating NeRF’s and Multiplane Image (MPI)’s behavior, we propose to guide the training process of NeRF with a Multiplane Prior. The proposed Multiplane Prior draws upon MPI’s benefits and incorporates advanced image comprehension through a SwinV2 Transformer, pre-trained via SimMIM. Our extensive experiments demonstrate that MPNeRF outperforms existing state-of-the-art methods applied in non-aerial contexts, by tripling the performance in SSIM and LPIPS even with three views available. We hope our work offers insights into the development of NeRF-based applications in aerial scenes with limited data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google