NeRF applied to satellite imagery for surface reconstruction

要約

タイトル：NeRFを表面再構築のための衛星画像に適用

要約：
– Sat-NeRFは、Shadow Neural Radiance Field（S-NeRF）モデルの変更版であり、画像内に存在する照明の変動を考慮して、シーンの散らばった一部の衛星画像から新しいビューを合成することができます。
– 訓練されたモデルは、しばしば衛星観測アプリケーションで望ましい量であるシーンの表面高度を正確に推定することができます。
– S-NeRFは、放射強度を反射率と放射照度の関数として考慮することで、通常のNeural Radiance Field（NeRF）法を改善しています。
– この実装は、ズームとクロップの技術を用いた衛星画像のデータセットで実行されました。
– NeRFのハイパーパラメータ研究が行われ、モデルの収束に関する興味深い観察結果が得られました。
– 最後に、NeRFとS-NeRFは100,000エポックまで実行され、データを完全に適合させ、最も正確な予測を行いました。本論文に関連するコードは、https://github.gatech.edu/fsemeraro6/satnerfで見つけることができます。

要約(オリジナル)

We present Sat-NeRF, a modified implementation of the recently introduced Shadow Neural Radiance Field (S-NeRF) model. This method is able to synthesize novel views from a sparse set of satellite images of a scene, while accounting for the variation in lighting present in the pictures. The trained model can also be used to accurately estimate the surface elevation of the scene, which is often a desirable quantity for satellite observation applications. S-NeRF improves on the standard Neural Radiance Field (NeRF) method by considering the radiance as a function of the albedo and the irradiance. Both these quantities are output by fully connected neural network branches of the model, and the latter is considered as a function of the direct light from the sun and the diffuse color from the sky. The implementations were run on a dataset of satellite images, augmented using a zoom-and-crop technique. A hyperparameter study for NeRF was carried out, leading to intriguing observations on the model’s convergence. Finally, both NeRF and S-NeRF were run until 100k epochs in order to fully fit the data and produce their best possible predictions. The code related to this article can be found at https://github.gatech.edu/fsemeraro6/satnerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI