Change-Agent: Towards Interactive Comprehensive Change Interpretation and Analysis from Change Detection and Change Captioning

要約

地表の変化を監視することは、自然のプロセスと人間の影響を理解するために非常に重要であり、正確で包括的な解釈方法が必要です。
リモート センシング衛星画像は、これらの変化を監視するための独自の視点を提供し、重要な研究焦点としてリモート センシング画像変化解釈 (RSICI) の出現につながります。
現在の RSICI テクノロジーには変更検出と変更キャプションが含まれていますが、それぞれに包括的な解釈を提供するには限界があります。
これに対処するために、私たちは、目としてのマルチレベル変更解釈 (MCI) モデルと脳としての大規模言語モデル (LLM) を統合する対話型チェンジ エージェントを提案します。
当社のChange-Agentは、ユーザーの指示に従い、変更の検出と変更のキャプション、変更オブジェクトのカウント、変更の原因分析など、ユーザーの指示に従って包括的な変更の解釈と洞察に富んだ分析を実現できます。当社が提案するMCIモデルには、ピクセルレベルの2つのブランチが含まれています。
変更検出とセマンティック レベルの変更キャプション。複数の BI 時間反復インタラクション (BI3) レイヤーが、ローカル認識強化 (LPE) およびグローバル ディファレンス フュージョン アテンション (GDFA) モジュールを利用して、モデルの識別特徴表現機能を強化します。
MCI モデルをトレーニングするには、バイタイム画像のマスクとキャプションを変更して LEVIR-MCI データセットを構築します。
広範な実験により、提案された変化解釈モデルの有効性が実証され、表面変化の包括的かつインテリジェントな解釈を促進する当社のChange-Agentの有望な可能性が強調されています。
今後の研究を促進するために、変更解釈モデルと Change-Agent のデータセットとコードベースを https://github.com/Chen-Yang-Liu/Change-Agent で公開します。

要約(オリジナル)

Monitoring changes in the Earth’s surface is crucial for understanding natural processes and human impacts, necessitating precise and comprehensive interpretation methodologies. Remote sensing satellite imagery offers a unique perspective for monitoring these changes, leading to the emergence of remote sensing image change interpretation (RSICI) as a significant research focus. Current RSICI technology encompasses change detection and change captioning, each with its limitations in providing comprehensive interpretation. To address this, we propose an interactive Change-Agent which integrates a multi-level change interpretation (MCI) model as eyes and a large language model (LLM) as the brain. Our Change-Agent can follow user instructions to achieve comprehensive change interpretation and insightful analysis according to user instructions, such as change detection and change captioning, change object counting, change cause analysis, etc. Our proposed MCI model contains two branches of pixel-level change detection and semantic-level change captioning, in which multiple BI-temporal Iterative Interaction (BI3) layers utilize Local Perception Enhancement (LPE) and the Global Difference Fusion Attention (GDFA) modules to enhance the model’s discriminative feature representation capabilities. To train the MCI model, we build the LEVIR-MCI dataset with change masks and captions of bi-temporal images. Extensive experiments demonstrate the effectiveness of the proposed change interpretation model and highlight the promising potential of our Change-Agent in facilitating comprehensive and intelligent interpretation of surface changes. We will make our dataset and codebase of the change interpretation model and Change-Agent publicly available to facilitate future research at https://github.com/Chen-Yang-Liu/Change-Agent

arxiv情報

提供元, 利用サービス

arxiv.jp, Google