Incorporating Season and Solar Specificity into Renderings made by a NeRF Architecture using Satellite Images

要約

Shadow NeRF と Sat-NeRF の結果、NeRF ベースのフレームワークで太陽の角度を考慮し、トレーニング用に衛星画像を使用して新しい視点からシーンをレンダリングすることが可能になります。
私たちの取り組みはこれらの貢献を拡張し、季節に応じたレンダリングを行う方法を示しています。
私たちの主な課題は、影をレンダリングしながら視野角や太陽の角度に関係なく季節の特徴をレンダリングできる Neural Radiance Field (NeRF) を作成することでした。
もう 1 つの入力変数 (時期) を導入することで、ネットワークに季節の特徴をレンダリングするよう教えます。
ただし、衛星画像に特有の小さなトレーニング データセットでは、特定の季節のすべての画像で同じ場所に影が存在する場合、曖昧さが生じる可能性があります。
ネットワークがシャドウを考慮するために季節特徴を使用するのを防ぐために、損失関数に追加の項を追加します。
Maxar WorldView-3 衛星によって捕捉された画像を含む 8 つの関心領域におけるネットワークのパフォーマンスを示します。
この評価には、新しいビューを正確にレンダリングし、高さマップを生成し、影を予測し、影から独立して季節の特徴を指定するフレームワークの能力を測定するテストが含まれます。
私たちのアブレーション研究は、ネットワーク設計パラメータの選択を正当化します。

要約(オリジナル)

As a result of Shadow NeRF and Sat-NeRF, it is possible to take the solar angle into account in a NeRF-based framework for rendering a scene from a novel viewpoint using satellite images for training. Our work extends those contributions and shows how one can make the renderings season-specific. Our main challenge was creating a Neural Radiance Field (NeRF) that could render seasonal features independently of viewing angle and solar angle while still being able to render shadows. We teach our network to render seasonal features by introducing one more input variable — time of the year. However, the small training datasets typical of satellite imagery can introduce ambiguities in cases where shadows are present in the same location for every image of a particular season. We add additional terms to the loss function to discourage the network from using seasonal features for accounting for shadows. We show the performance of our network on eight Areas of Interest containing images captured by the Maxar WorldView-3 satellite. This evaluation includes tests measuring the ability of our framework to accurately render novel views, generate height maps, predict shadows, and specify seasonal features independently from shadows. Our ablation studies justify the choices made for network design parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google