Efficient Remote Sensing with Harmonized Transfer Learning and Modality Alignment

要約

Visual and Language Pretraining (VLP) の台頭により、事前トレーニングの後に微調整を行うというパラダイムを採用する下流タスクが増加しています。
このパラダイムはさまざまなマルチモーダルな下流タスクでの可能性を示していますが、リモート センシング領域での実装にはいくつかの障害があります。
具体的には、同じモダリティの埋め込みがクラスター化する傾向があり、効率的な転移学習を妨げます。
この問題に取り組むために、私たちは下流タスクのマルチモーダル転移学習の目的を統一的な観点から見直し、3 つの異なる目的に基づいて最適化プロセスを再考します。
我々は、パラメータ効率の高い微調整を通じてトレーニングのオーバーヘッドを最小限に抑えながら、タスクの制約、モダリティのアライメント、単一モダリティの均一アライメントを同時に満たす手法である「調和転移学習とモダリティのアライメント（HarMA）」を提案します。
驚くべきことに、HarMA は、トレーニング用の外部データを必要とせずに、リモート センシングの分野で人気のある 2 つのマルチモーダル検索タスクで最先端のパフォーマンスを達成します。
私たちの実験では、HarMA が最小限の調整パラメーターのみを使用して完全に微調整されたモデルに対して、競争力のあるさらに優れたパフォーマンスを実現することが明らかになりました。
HarMA はそのシンプルさにより、既存のほぼすべてのマルチモーダル事前トレーニング モデルに統合できます。
この方法により、リソース消費を大幅に削減しながら、大規模なモデルを幅広い下流タスクに効率的に適用できるようになることを期待しています。
コードは https://github.com/seekerhuang/HarMA で入手できます。

要約(オリジナル)

With the rise of Visual and Language Pretraining (VLP), an increasing number of downstream tasks are adopting the paradigm of pretraining followed by fine-tuning. Although this paradigm has demonstrated potential in various multimodal downstream tasks, its implementation in the remote sensing domain encounters some obstacles. Specifically, the tendency for same-modality embeddings to cluster together impedes efficient transfer learning. To tackle this issue, we review the aim of multimodal transfer learning for downstream tasks from a unified perspective, and rethink the optimization process based on three distinct objectives. We propose ‘Harmonized Transfer Learning and Modality Alignment (HarMA)’, a method that simultaneously satisfies task constraints, modality alignment, and single-modality uniform alignment, while minimizing training overhead through parameter-efficient fine-tuning. Remarkably, without the need for external data for training, HarMA achieves state-of-the-art performance in two popular multimodal retrieval tasks in the field of remote sensing. Our experiments reveal that HarMA achieves competitive and even superior performance to fully fine-tuned models with only minimal adjustable parameters. Due to its simplicity, HarMA can be integrated into almost all existing multimodal pretraining models. We hope this method can facilitate the efficient application of large models to a wide range of downstream tasks while significantly reducing the resource consumption. Code is available at https://github.com/seekerhuang/HarMA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google