NeRF applied to satellite imagery for surface reconstruction

要約

タイトル：地球観測用サテライト画像の表面再構築に適用されるNeRF
要約：
– S-NeRFは、最近導入されたShadow Neural Radiance Field（S-NeRF）モデルの改良実装である。
– この方法は、画像内のライティングのばらつきを考慮しながら、シーンのスパースなセットのサテライト画像から新しい視点を合成することができる。
– 訓練されたモデルは、しばしば地球観測アプリケーションで望ましい数量であるシーンの表面高度を正確に推定するためにも使用できる。
– S-NeRFは、輝度をアルベドと放射照度の関数として考慮することにより、標準のNeural Radiance Field（NeRF）手法に改良を加えている。
– 両方の量は、モデルの完全接続されたニューラルネットワークブランチから出力され、後者は太陽からの直接光と空の拡散色を関数として考えられる。
– 実装は、ズームアンドクロップ技術を使用して拡張されたサテライト画像のデータセットで実行された。
– NeRFのハイパーパラメーター調査が行われ、モデルの収束に関する興味深い観察が得られた。
– 最後に、NeRFとS-NeRFは、データを完全に適合させ、最良の予測を生成するために100kエポックまで実行された。
– この記事に関連するコードは、https://github.com/fsemerar/satnerfで見つけることができる。

要約(オリジナル)

We present Sat-NeRF, a modified implementation of the recently introduced Shadow Neural Radiance Field (S-NeRF) model. This method is able to synthesize novel views from a sparse set of satellite images of a scene, while accounting for the variation in lighting present in the pictures. The trained model can also be used to accurately estimate the surface elevation of the scene, which is often a desirable quantity for satellite observation applications. S-NeRF improves on the standard Neural Radiance Field (NeRF) method by considering the radiance as a function of the albedo and the irradiance. Both these quantities are output by fully connected neural network branches of the model, and the latter is considered as a function of the direct light from the sun and the diffuse color from the sky. The implementations were run on a dataset of satellite images, augmented using a zoom-and-crop technique. A hyperparameter study for NeRF was carried out, leading to intriguing observations on the model’s convergence. Finally, both NeRF and S-NeRF were run until 100k epochs in order to fully fit the data and produce their best possible predictions. The code related to this article can be found at $\text{https://github.com/fsemerar/satnerf}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI