HiCD: Change Detection in Quality-Varied Images via Hierarchical Correlation Distillation

要約

高度な変更検出技術は主に、同等で高品質の画像ペアをターゲットとしています。
ただし、イメージング条件やプラットフォームの変化により、多くの場合、一方の画像は高品質で、もう一方の画像は低品質という、異なる品質の画像ペアが生成されます。
このような画質の違いは、画像ペアを意味的に理解し、変化の特徴を抽出する上で大きな課題となり、最終的にパフォーマンスの顕著な低下をもたらします。
この課題に取り組むために、私たちは知識の蒸留に基づいた革新的なトレーニング戦略を導入します。
中心的なアイデアは、品質の違いを示す画像ペアを処理する際に、高品質の画像ペアから取得したタスクの知識を活用してモデルの学習プロセスをガイドすることを中心に展開しています。
さらに、階層的相関抽出アプローチ (自己相関、相互相関、およびグローバル相関を含む) を開発します。
このアプローチでは、生徒モデルは、個々の特徴だけに焦点を当てるのではなく、教師モデルに固有の相関関係を複製する必要があります。
これにより、学生モデルのトレーニングの柔軟性を維持しながら、効果的な知識の伝達が保証されます。

要約(オリジナル)

Advanced change detection techniques primarily target image pairs of equal and high quality. However, variations in imaging conditions and platforms frequently lead to image pairs with distinct qualities: one image being high-quality, while the other being low-quality. These disparities in image quality present significant challenges for understanding image pairs semantically and extracting change features, ultimately resulting in a notable decline in performance. To tackle this challenge, we introduce an innovative training strategy grounded in knowledge distillation. The core idea revolves around leveraging task knowledge acquired from high-quality image pairs to guide the model’s learning process when dealing with image pairs that exhibit differences in quality. Additionally, we develop a hierarchical correlation distillation approach (involving self-correlation, cross-correlation, and global correlation). This approach compels the student model to replicate the correlations inherent in the teacher model, rather than focusing solely on individual features. This ensures effective knowledge transfer while maintaining the student model’s training flexibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google