BRDF-NeRF: Neural Radiance Fields with Optical Satellite Images and BRDF Modelling

要約

衛星画像から複雑な地球表面の異方性反射率を理解することは、多くの用途にとって重要です。
神経放射輝度場 (NeRF) は、複数の画像からシーンの双方向反射率分布関数 (BRDF) を推定できる機械学習技術として普及しています。
しかし、これまでの研究は主に、NeRF を近距離画像に適用し、基本的なマイクロファセット BRDF モデルを推定することに集中していましたが、これは多くの地球表面には不十分です。
さらに、高品質の NeRF では通常、複数の画像を同時に撮影する必要がありますが、衛星画像ではこれはまれです。
これらの制限に対処するために、リモート センシングで一般的に使用される半経験的な BRDF モデルであるラーマン-ピンティ-フェルストラート (RPV) モデルを明示的に推定するために開発された BRDF-NeRF を提案します。
私たちは 2 つのデータセットを使用してアプローチを評価します。(1) 太陽の位置を固定し、さまざまな視野角で単一のエポックで取得したジブチ、(2) 異なる視野角と太陽の位置で複数のエポックにわたって取得した蘭州。
トレーニング用にわずか 3 ～ 4 枚の衛星画像に基づいた我々の結果は、BRDF-NeRF がトレーニング データから遠く離れた方向からの新しいビューを効果的に合成し、高品質のデジタル サーフェス モデル (DSM) を生成できることを示しています。

要約(オリジナル)

Understanding the anisotropic reflectance of complex Earth surfaces from satellite imagery is crucial for numerous applications. Neural radiance fields (NeRF) have become popular as a machine learning technique capable of deducing the bidirectional reflectance distribution function (BRDF) of a scene from multiple images. However, prior research has largely concentrated on applying NeRF to close-range imagery, estimating basic Microfacet BRDF models, which fall short for many Earth surfaces. Moreover, high-quality NeRFs generally require several images captured simultaneously, a rare occurrence in satellite imaging. To address these limitations, we propose BRDF-NeRF, developed to explicitly estimate the Rahman-Pinty-Verstraete (RPV) model, a semi-empirical BRDF model commonly employed in remote sensing. We assess our approach using two datasets: (1) Djibouti, captured in a single epoch at varying viewing angles with a fixed Sun position, and (2) Lanzhou, captured over multiple epochs with different viewing angles and Sun positions. Our results, based on only three to four satellite images for training, demonstrate that BRDF-NeRF can effectively synthesize novel views from directions far removed from the training data and produce high-quality digital surface models (DSMs).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google