Earth-Adapter: Bridge the Geospatial Domain Gaps with Mixture of Frequency Adaptation

要約

パラメーター効率の高い微調整（PEFT）は、固有の機能を維持および解き放ちながら、強力な基礎モデル（FMS）を多様なダウンストリームタスクに適応させることができる手法です。
ただし、自然な画像を念頭に置いて設計されていることが多い既存のPEFTメソッドは、リモートセンシング（RS）シナリオに適用すると闘うことがあることが観察されています。
これは主に、アーティファクトの影響を処理できないためです。これは、RS画像機能で特に深刻な問題です。
この課題に取り組むために、RSアーティファクト征服用に特別に設計された最初のPEFTメソッドであるEarth-Adapterを紹介します。
Earth-Adapterは、アダプター（MOA）の混合と離散フーリエ変換（DFT）を組み合わせた周波数適応プロセスの新しい混合物を導入します。
DFTを利用することにより、アースアダプターは機能を異なる周波数コンポーネントに分解し、アーティファクトを元の機能から正確に分離できます。
その後、MOAは各アダプターの専門家に重みを動的に割り当て、さまざまな周波数ドメインにわたって機能の組み合わせを可能にします。
これらのシンプルな効果的なアプローチにより、アースアダプターは以前のPEFTメソッドよりもアーティファクトによって引き起こされる乱れをより効率的に克服でき、RSシナリオでのFMSのパフォーマンスを大幅に向上させることができます。
ドメイン適応（DA）およびドメイン一般化（DG）セマンティックセグメンテーションベンチマークに関する実験は、地球適用性の有効性を紹介します。
ベースラインREINと比較して、アースアダプターはDAで9.0％MIOU、DGベンチマークで3.1％MIOUを大幅に改善します。
コードはhttps://github.com/visionxlab/earth-adapterでリリースされます。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) is a technique that allows us to adapt powerful Foundation Models (FMs) to diverse downstream tasks while preserving and unleashing their inherent capabilities. However, we have observed that existing PEFT methods, which are often designed with natural imagery in mind, struggle when applied to Remote Sensing (RS) scenarios. This is primarily due to their inability to handle artifact influences, a problem particularly severe in RS image features. To tackle this challenge, we introduce Earth-Adapter, the first PEFT method specifically designed for RS artifacts conquering. Earth-Adapter introduces a novel Mixture of Frequency Adaptation process that combines a Mixture of Adapter (MoA) with Discrete Fourier Transformation (DFT). By utilizing DFT, Earth-Adapter can decompose features into different frequency components, precisely separating artifacts from original features. The MoA then dynamically assigns weights to each adapter expert, allowing for the combination of features across various frequency domains. These simple-yet-effective approaches enable Earth-Adapter to more efficiently overcome the disturbances caused by artifacts than previous PEFT methods, significantly enhancing the FMs’ performance on RS scenarios. Experiments on Domain Adaptation (DA), and Domain Generalization (DG) semantic segmentation benchmarks showcase the Earth-Adapter’s effectiveness. Compared with baseline Rein, Earth-Adapter significantly improves 9.0% mIoU in DA and 3.1% mIoU in DG benchmarks. Our code will be released at https://github.com/VisionXLab/Earth-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google