SAT-NGP : Unleashing Neural Graphics Primitives for Fast Relightable Transient-Free 3D reconstruction from Satellite Imagery

要約

現在のステレオ ビジョン パイプラインは、衛星画像の複数のペアまたはトリプレットを使用するときに、高精度の 3D 再構成を生成します。
ただし、これらのパイプラインは、複数の日付の取得の結果として発生する可能性のある画像間の変化に敏感です。
このような変動は主に、変化する影、反射、および一時的なオブジェクト (車、植生) によるものです。
このような変化を考慮するために、最近、Neural Radiance Fields (NeRF) が複数日付の衛星画像に適用されました。
ただし、ニューラル手法は非常に計算量が多く、標準的なステレオ ビジョン パイプラインの場合は数分かかるのに対し、学習には数十時間かかります。
インスタント ニューラル グラフィックス プリミティブのアイデアに従って、学習を加速するために効率的なサンプリング戦略とマルチ解像度ハッシュ エンコーディングを使用することを提案します。
私たちのモデル、Satellite Neural Graphics Primitives (SAT-NGP) は、3D 再構成の品質を維持しながら、学習時間を 15 分に短縮します。

要約(オリジナル)

Current stereo-vision pipelines produce high accuracy 3D reconstruction when using multiple pairs or triplets of satellite images. However, these pipelines are sensitive to the changes between images that can occur as a result of multi-date acquisitions. Such variations are mainly due to variable shadows, reflexions and transient objects (cars, vegetation). To take such changes into account, Neural Radiance Fields (NeRF) have recently been applied to multi-date satellite imagery. However, Neural methods are very compute-intensive, taking dozens of hours to learn, compared with minutes for standard stereo-vision pipelines. Following the ideas of Instant Neural Graphics Primitives we propose to use an efficient sampling strategy and multi-resolution hash encoding to accelerate the learning. Our model, Satellite Neural Graphics Primitives (SAT-NGP) decreases the learning time to 15 minutes while maintaining the quality of the 3D reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google