Text-Guided Coarse-to-Fine Fusion Network for Robust Remote Sensing Visual Question Answering

要約

リモート センシングによる視覚的質問応答 (RSVQA) は、研究において大きな関心を集めています。
ただし、現在の RSVQA 方法は、特に雲に覆われた低照度のシナリオなどの困難な条件下では、光学センサーのイメージング メカニズムによって制限されます。
合成開口レーダー (SAR) の常時および全天候の画像化機能を考慮すると、RSVQA のパフォーマンスを向上させるために光学 SAR 画像の統合を調査することが重要です。
この研究では、質問テキストとマルチソース画像の間の意味論的関係を利用して、特徴レベルでの相補的融合に向けてネットワークをガイドする、テキストガイド付き粗密融合ネットワーク (TGFNet) を提案します。
具体的には、複雑なリモート センシング画像内の質問に関連する重要な領域に焦点を当てるための、テキスト ガイドによる粗密注意調整 (CFAR) モジュールを開発します。
このモジュールは、主要領域のルーティングを通じて広い領域からより詳細な領域に徐々に注意を向け、関連領域に焦点を当てるモデルの機能を強化します。
さらに、さまざまなエキスパートを動的に統合し、光学機能と SAR 機能の適応融合を可能にする Adaptive Multi-Expert Fusion (AMEF) モジュールを提案します。
さらに、光学 SAR RSVQA 手法を評価するための初の大規模ベンチマーク データセットを作成します。これは、複雑な関係推論の質問を含む、16 の多様な質問タイプにわたって、6,008 の適切に位置合わせされた光学 SAR 画像ペアと、適切にラベル付けされた 1,036,694 の適切にラベル付けされた質問と回答のペアで構成されます。
。
提案されたデータセットに対する広範な実験により、TGFNet が光学画像と SAR 画像の間の補完的な情報を効果的に統合し、困難なシナリオにおけるモデルのパフォーマンスが大幅に向上することが実証されました。
データセットは https://github.com/mmic-lcl/ から入手できます。
索引用語: リモート センシング視覚的質問応答、マルチソース データ フュージョン、マルチモーダル、リモート センシング、OPT-SAR。

要約(オリジナル)

Remote Sensing Visual Question Answering (RSVQA) has gained significant research interest. However, current RSVQA methods are limited by the imaging mechanisms of optical sensors, particularly under challenging conditions such as cloud-covered and low-light scenarios. Given the all-time and all-weather imaging capabilities of Synthetic Aperture Radar (SAR), it is crucial to investigate the integration of optical-SAR images to improve RSVQA performance. In this work, we propose a Text-guided Coarse-to-Fine Fusion Network (TGFNet), which leverages the semantic relationships between question text and multi-source images to guide the network toward complementary fusion at the feature level. Specifically, we develop a Text-guided Coarse-to-Fine Attention Refinement (CFAR) module to focus on key areas related to the question in complex remote sensing images. This module progressively directs attention from broad areas to finer details through key region routing, enhancing the model’s ability to focus on relevant regions. Furthermore, we propose an Adaptive Multi-Expert Fusion (AMEF) module that dynamically integrates different experts, enabling the adaptive fusion of optical and SAR features. In addition, we create the first large-scale benchmark dataset for evaluating optical-SAR RSVQA methods, comprising 6,008 well-aligned optical-SAR image pairs and 1,036,694 well-labeled question-answer pairs across 16 diverse question types, including complex relational reasoning questions. Extensive experiments on the proposed dataset demonstrate that our TGFNet effectively integrates complementary information between optical and SAR images, significantly improving the model’s performance in challenging scenarios. The dataset is available at: https://github.com/mmic-lcl/. Index Terms: Remote Sensing Visual Question Answering, Multi-source Data Fusion, Multimodal, Remote Sensing, OPT-SAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google