Seeing through Satellite Images at Street Views

要約

このペーパーでは、衛星画像と指定されたカメラの位置または軌道を指定したフォトリアリスティックなストリートビューのパノラマ画像とビデオをレンダリングすることを目的とした、Satstreet-View Synthesisのタスクを研究します。
衛星と通りの視点からキャプチャされたペアの画像から神経放射輝度フィールドを学習するように策定します。これは、衛星画像とストリートビュー画像の間のまばらなビューと非常に大きな視点が変化するため、挑戦的な学習問題となるようになります。
空や照明効果を含むストリートビューの固有の要素がストリートビューパノラマでのみ見えるというタスク固有の観察に基づいて課題に取り組み、neural Networksでこれらのストリートビュー視点をモデル化することにより、写真リアルなストリートビューパノラマの目標を達成するために、新しいアプローチsat2denity ++を提示します。
実験では、私たちの方法は、都市部と郊外のシーンデータセットの両方で証言されており、SAT2denity ++は、複数のビューで一貫して衛星画像に忠実なフォトリアリスティックストリートビューパノラマをレンダリングできることを示しています。

要約(オリジナル)

This paper studies the task of SatStreet-view synthesis, which aims to render photorealistic street-view panorama images and videos given any satellite image and specified camera positions or trajectories. We formulate to learn neural radiance field from paired images captured from satellite and street viewpoints, which comes to be a challenging learning problem due to the sparse-view natural and the extremely-large viewpoint changes between satellite and street-view images. We tackle the challenges based on a task-specific observation that street-view specific elements, including the sky and illumination effects are only visible in street-view panoramas, and present a novel approach Sat2Density++ to accomplish the goal of photo-realistic street-view panoramas rendering by modeling these street-view specific in neural networks. In the experiments, our method is testified on both urban and suburban scene datasets, demonstrating that Sat2Density++ is capable of rendering photorealistic street-view panoramas that are consistent across multiple views and faithful to the satellite image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google