Coarse-to-fine Task-driven Inpainting for Geoscience Images

要約

地球科学画像の処理と認識には幅広い用途がある。既存の研究のほとんどは、すべての画像が鮮明であると仮定して、高品質の地球科学画像を理解することに焦点を当てています。しかし、実世界の多くの場合、地球科学画像は画像取得時にオクルージョンを含んでいる可能性があります。この問題は、コンピュータビジョンやマルチメディアの分野では、画像の塗り潰し問題を意味する。我々の知る限り、既存の画像修復アルゴリズムは、より良い視覚化のためにオクルージョン領域を修復することを学習するが、それらは自然画像に対しては優れているが、地球科学に関連するタスクを無視することにより地球科学画像に対しては十分でない。本論文では、現在開発されている深層学習ベースの地球科学モデルを変更することなく、より良い地球科学タスクのパフォーマンスと高度な視覚化品質を同時に実現するために、オクルージョン領域を修復することを目的としています。ジオサイエンス画像の複雑な文脈のため、我々は粗から細への敵対的文脈識別器を持つ粗から細へのエンコーダデコーダネットワークを提案し、オクルージョン画像領域を再構築する。また、地球科学画像のデータは限られているため、MaskMixに基づくデータ補強法を用いて、限られた地球科学画像データからより多くの情報を利用する。リモートセンシングシーン認識、クロスビュージオロケーション、セマンティックセグメンテーションの3つの公共地球科学データセットに対する実験結果は、それぞれ提案手法の有効性と精度を示している。

要約(オリジナル)

The processing and recognition of geoscience images have wide applications. Most of existing researches focus on understanding the high-quality geoscience images by assuming that all the images are clear. However, in many real-world cases, the geoscience images might contain occlusions during the image acquisition. This problem actually implies the image inpainting problem in computer vision and multimedia. To the best of our knowledge, all the existing image inpainting algorithms learn to repair the occluded regions for a better visualization quality, they are excellent for natural images but not good enough for geoscience images by ignoring the geoscience related tasks. This paper aims to repair the occluded regions for a better geoscience task performance with the advanced visualization quality simultaneously, without changing the current deployed deep learning based geoscience models. Because of the complex context of geoscience images, we propose a coarse-to-fine encoder-decoder network with coarse-to-fine adversarial context discriminators to reconstruct the occluded image regions. Due to the limited data of geoscience images, we use a MaskMix based data augmentation method to exploit more information from limited geoscience image data. The experimental results on three public geoscience datasets for remote sensing scene recognition, cross-view geolocation and semantic segmentation tasks respectively show the effectiveness and accuracy of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL