Self-Correlation and Cross-Correlation Learning for Few-Shot Remote Sensing Image Semantic Segmentation

要約

リモートセンシング画像の意味セグメンテーションは、リモートセンシング画像の解釈にとって重要な問題です。
目覚ましい進歩が達成されましたが、既存のディープ ニューラル ネットワーク手法は、大量のトレーニング データへの依存という問題を抱えています。
少数ショットのリモート センシング セマンティック セグメンテーションは、ターゲット クラスの注釈付きサポート イメージを少数だけ使用して、クエリ画像からターゲット オブジェクトをセグメント化する方法を学習することを目的としています。
既存の少数ショット学習法のほとんどは、主にサポート画像から情報を抽出することのみに焦点を当てているため、地理的オブジェクトの外観とスケールの大きな差異に効果的に対処できません。
これらの課題に取り組むために、我々は、少数ショットのリモートセンシング画像セマンティックセグメンテーションのための自己相関および相互相関学習ネットワークを提案します。
私たちのモデルは、サポート画像とクエリ画像の間の自己相関と相互相関の両方を考慮してセグメンテーション予測を行うことで一般化を強化します。
クエリ画像との自己相関をさらに調査するために、画像の基本的な視覚情報に基づいてクラスに依存しないセグメンテーション マスクを生成する古典的なスペクトル法を採用することを提案します。
2 つのリモート センシング画像データセットに対する広範な実験により、少数ショットのリモート センシング画像のセマンティック セグメンテーションにおけるモデルの有効性と優位性が実証されました。
コードとモデルには https://github.com/linhanwang/SCCNet からアクセスできます。

要約(オリジナル)

Remote sensing image semantic segmentation is an important problem for remote sensing image interpretation. Although remarkable progress has been achieved, existing deep neural network methods suffer from the reliance on massive training data. Few-shot remote sensing semantic segmentation aims at learning to segment target objects from a query image using only a few annotated support images of the target class. Most existing few-shot learning methods stem primarily from their sole focus on extracting information from support images, thereby failing to effectively address the large variance in appearance and scales of geographic objects. To tackle these challenges, we propose a Self-Correlation and Cross-Correlation Learning Network for the few-shot remote sensing image semantic segmentation. Our model enhances the generalization by considering both self-correlation and cross-correlation between support and query images to make segmentation predictions. To further explore the self-correlation with the query image, we propose to adopt a classical spectral method to produce a class-agnostic segmentation mask based on the basic visual information of the image. Extensive experiments on two remote sensing image datasets demonstrate the effectiveness and superiority of our model in few-shot remote sensing image semantic segmentation. Code and models will be accessed at https://github.com/linhanwang/SCCNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google