HSONet:A Siamese foreground association-driven hard case sample optimization network for high-resolution remote sensing image change detection

要約

後のトレーニング段階では、変更を判断するモデルの能力がさらに向上するかどうかは、変更検出 (CD) モデルがハードケースをどれだけうまく学習するかにかかっています。
ただし、ハード ケース サンプルの学習にはさらに 2 つの課題があります。(1) 変更ラベルは制限されており、前景のターゲットのみを指す傾向がありますが、ハード ケース サンプルはバックグラウンドで蔓延しているため、前景に焦点を当てた損失関数の最適化につながります。
ターゲットを無視し、背景にある困難なケースを無視します。これを不均衡と呼びます。
(2) 明るい影、ターゲットの遮蔽、季節の変化などの複雑な状況は、ハードケース サンプルを誘発します。監視情報とシーン情報の両方が存在しない場合、モデルがハードケース サンプルを直接学習して正確にデータを取得することは困難です。
変更情報の特徴表現。これを欠落と呼びます。
我々は、Siamese フォアグラウンド アソシエーション駆動のハード ケース サンプル最適化ネットワーク (HSONet) を提案します。
この不均衡に対処するために、前景と背景の最適化焦点を調整する平衡最適化損失関数を提案し、損失値の分布を通じてハードケースサンプルを決定し、損失項に動的重みを導入して最適化を徐々にシフトします。
トレーニングが進むにつれて、前景から背景のハードケースまで損失に焦点を当てます。
この欠落に対処するために、シーンコンテキストの助けを借りてハードケースサンプルを理解し、シーンと前景の関連付けモジュールを提案し、潜在的なリモートセンシング空間シーン情報を使用して、前景の対象ターゲットと関連するコンテキストの間の関連をモデル化します。
シーンの埋め込みを取得し、この情報をハードケースの特徴強化に適用します。
4 つの公開データセットでの実験では、HSONet が、特にハードケース サンプルの検出において、現在の最先端の CD 手法よりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

In the later training stages, further improvement of the models ability to determine changes relies on how well the change detection (CD) model learns hard cases; however, there are two additional challenges to learning hard case samples: (1) change labels are limited and tend to pointer only to foreground targets, yet hard case samples are prevalent in the background, which leads to optimizing the loss function focusing on the foreground targets and ignoring the background hard cases, which we call imbalance. (2) Complex situations, such as light shadows, target occlusion, and seasonal changes, induce hard case samples, and in the absence of both supervisory and scene information, it is difficult for the model to learn hard case samples directly to accurately obtain the feature representations of the change information, which we call missingness. We propose a Siamese foreground association-driven hard case sample optimization network (HSONet). To deal with this imbalance, we propose an equilibrium optimization loss function to regulate the optimization focus of the foreground and background, determine the hard case samples through the distribution of the loss values, and introduce dynamic weights in the loss term to gradually shift the optimization focus of the loss from the foreground to the background hard cases as the training progresses. To address this missingness, we understand hard case samples with the help of the scene context, propose the scene-foreground association module, use potential remote sensing spatial scene information to model the association between the target of interest in the foreground and the related context to obtain scene embedding, and apply this information to the feature reinforcement of hard cases. Experiments on four public datasets show that HSONet outperforms current state-of-the-art CD methods, particularly in detecting hard case samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google