LROC-PANGU-GAN: Closing the Simulation Gap in Learning Crater Segmentation with Planetary Simulators

要約

外国の惑星体に着陸する探査機にとって、危険を確実に特定して回避できることが重要です。たとえば、急な崖や深いクレーターは、探査機の着陸と運用の成功に重大なリスクをもたらす可能性があるためです。
この問題に対する深層学習の最近の応用では、有望な結果が示されています。
ただし、これらのモデルは、多くの場合、注釈付きのデータセットに対する明示的な監視によって学習されます。
月偵察軌道カメラ (LROC) などの人間がラベルを付けたこれらのクレーター データベースは、一貫性と品質に欠け、モデルのパフォーマンスを損なう可能性があります。不完全または不正確なラベルが監視信号にノイズを導入し、モデルの学習を促進するためです。
誤った関連付けが発生し、モデルが信頼性の低い予測を行う結果になります。
対照的に、Planet and Asteroid Natural Scene Generation Utility などの物理ベースのシミュレーターは、シーンのレンダリングに使用される内部状態が正確にわかっているため、完全なグラウンド トゥルースを備えています。
ただし、それらは、物理的相互作用、環境変動などを考慮していないモデリングの仮定から生じる、シミュレートされた環境と現実世界との間の根本的な違いのため、シミュレーションと実際の領域の深刻なギャップをもたらします。そのため、その出力に基づいてトレーニングされたモデルは問題を抱えます。
現実的な状況に直面して展開すると、トレーニング データの配布では遭遇しなかった現実に直面します。
したがって、この論文では、ラベルの忠実性を維持しながら、この「現実性」のギャップを埋めるシステムを紹介します。
CycleGAN モデルをトレーニングして、惑星および小惑星の自然シーン生成ユーティリティ (PANGU) 画像から LROC を合成します。
これらにより、下流クレーター セグメンテーション ネットワークのトレーニングが向上し、実際の LROC 画像のテスト セットでのセグメンテーション パフォーマンスが、シミュレートされた PANGU 画像のみを使用した場合と比較して向上することを示します。

要約(オリジナル)

It is critical for probes landing on foreign planetary bodies to be able to robustly identify and avoid hazards – as, for example, steep cliffs or deep craters can pose significant risks to a probe’s landing and operational success. Recent applications of deep learning to this problem show promising results. These models are, however, often learned with explicit supervision over annotated datasets. These human-labelled crater databases, such as from the Lunar Reconnaissance Orbiter Camera (LROC), may lack in consistency and quality, undermining model performance – as incomplete and/or inaccurate labels introduce noise into the supervisory signal, which encourages the model to learn incorrect associations and results in the model making unreliable predictions. Physics-based simulators, such as the Planet and Asteroid Natural Scene Generation Utility, have, in contrast, perfect ground truth, as the internal state that they use to render scenes is known with exactness. However, they introduce a serious simulation-to-real domain gap – because of fundamental differences between the simulated environment and the real-world arising from modelling assumptions, unaccounted for physical interactions, environmental variability, etc. Therefore, models trained on their outputs suffer when deployed in the face of realism they have not encountered in their training data distributions. In this paper, we therefore introduce a system to close this ‘realism’ gap while retaining label fidelity. We train a CycleGAN model to synthesise LROC from Planet and Asteroid Natural Scene Generation Utility (PANGU) images. We show that these improve the training of a downstream crater segmentation network, with segmentation performance on a test set of real LROC images improved as compared to using only simulated PANGU images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google