Pixel-Level Change Detection Pseudo-Label Learning for Remote Sensing Change Captioning

要約

リモート センシング画像変更キャプション (RSICC) の既存の方法は、単純なシーンでは良好なパフォーマンスを発揮しますが、複雑なシーンではパフォーマンスが低下します。
この制限は主に、変更を区別して位置を特定するモデルの視覚的能力が制限されていることが原因です。
変更検出 (CD) と RSICC タスク間の固有の相関関係を認識すると、ピクセル レベルの CD は言語を通じて画像間の違いを説明するのに重要であると考えられます。
残念なことに、現在の RSICC データセットには、すぐに利用できるピクセル レベルの CD ラベルがありません。
この欠陥に対処するために、既存の CD データセットでトレーニングされたモデルを利用して CD 擬似ラベルを導出します。
私たちは、疑似ラベルによって監視された補助 CD ブランチを備えた革新的なネットワークを提案します。
さらに、CD ブランチによって抽出された特徴情報を融合するためのセマンティック融合拡張 (SFA) モジュールが提案されており、それによって変更の微妙な記述が容易になります。
実験は、私たちの方法が最先端のパフォーマンスを達成することを実証し、ピクセルレベルのCD擬似ラベルの学習がキャプションの変更に大きく貢献することを検証します。
私たちのコードは https://github.com/Chen-Yang-Liu/Pix4Cap で入手できます。

要約(オリジナル)

The existing methods for Remote Sensing Image Change Captioning (RSICC) perform well in simple scenes but exhibit poorer performance in complex scenes. This limitation is primarily attributed to the model’s constrained visual ability to distinguish and locate changes. Acknowledging the inherent correlation between change detection (CD) and RSICC tasks, we believe pixel-level CD is significant for describing the differences between images through language. Regrettably, the current RSICC dataset lacks readily available pixel-level CD labels. To address this deficiency, we leverage a model trained on existing CD datasets to derive CD pseudo-labels. We propose an innovative network with an auxiliary CD branch, supervised by pseudo-labels. Furthermore, a semantic fusion augment (SFA) module is proposed to fuse the feature information extracted by the CD branch, thereby facilitating the nuanced description of changes. Experiments demonstrate that our method achieves state-of-the-art performance and validate that learning pixel-level CD pseudo-labels significantly contributes to change captioning. Our code will be available at: https://github.com/Chen-Yang-Liu/Pix4Cap

arxiv情報

提供元, 利用サービス

arxiv.jp, Google