NeRF applied to satellite imagery for surface reconstruction

要約

【タイトル】衛星画像に適用されたNeRFによる地表再構築

【要約】
– Sat-NeRFという、S-NeRFというモデルを改良した手法を提案する。
– この手法は、照明条件の異なる一連の衛星画像から、シーンの新しい視点を生成できる。
– また、訓練されたモデルは、シーンの地表の高度を正確に推定することもできる。
– NeRFと比較して、S-NeRFは、放射輝度を反射率と輻射照度の関数と考えることで改良されている。
– この手法は、拡大または切り取り技術を用いた衛星画像のデータセット上で実行され、NeRFのハイパーパラメータの研究が行われる。
– 最後に、NeRFとS-NeRFがデータに完全に合わせ、最適な予測を生成するために、それぞれ100kエポックの実行が行われる。

要約(オリジナル)

We present Sat-NeRF, a modified implementation of the recently introduced Shadow Neural Radiance Field (S-NeRF) model. This method is able to synthesize novel views from a sparse set of satellite images of a scene, while accounting for the variation in lighting present in the pictures. The trained model can also be used to accurately estimate the surface elevation of the scene, which is often a desirable quantity for satellite observation applications. S-NeRF improves on the standard Neural Radiance Field (NeRF) method by considering the radiance as a function of the albedo and the irradiance. Both these quantities are output by fully connected neural network branches of the model, and the latter is considered as a function of the direct light from the sun and the diffuse color from the sky. The implementations were run on a dataset of satellite images, augmented using a zoom-and-crop technique. A hyperparameter study for NeRF was carried out, leading to intriguing observations on the model’s convergence. Finally, both NeRF and S-NeRF were run until 100k epochs in order to fully fit the data and produce their best possible predictions. The code related to this article can be found at \url{https://github.com/fsemerar/satnerf}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI