Empowering Source-Free Domain Adaptation with MLLM-driven Curriculum Learning

要約

ソースフリー ドメイン アダプテーション (SFDA) は、ラベルのないターゲット データのみを使用して、事前トレーニングされたソース モデルをターゲット ドメインに適応させることを目的としています。
現在の SFDA 手法は、事前トレーニングされた知識を効果的に活用し、ターゲット ドメイン データを活用する際に課題に直面しています。
マルチモーダル大規模言語モデル (MLLM) は、視覚情報やテキスト情報を理解する際に優れた機能を提供しますが、SFDA への適用には、命令追従の失敗、集中的な計算要求、適応前のパフォーマンス測定の困難などの課題が生じます。
これらの問題を軽減するために、SFDA の疑似ラベル付けを介して知識活用のために複数の MLLM を統合する新しいフレームワークである信頼性ベースのカリキュラム学習 (RCL) を提案します。
私たちのフレームワークには、提案されている信頼性の高い知識の伝達、自己修正および MLLM ガイドによる知識の拡張、およびターゲット ドメイン内のラベルのないデータを段階的に活用するためのマルチホット マスキングの洗練が組み込まれています。
RCL は、複数の SFDA ベンチマーク (例: DomainNet 上の $\textbf{+9.4%}$) で最先端 (SOTA) パフォーマンスを達成し、ソース データへのアクセスを必要とせずに適応性と堅牢性を強化する効果を実証しています。
コード: https://github.com/Dong-Jie-Chen/RCL。

要約(オリジナル)

Source-Free Domain Adaptation (SFDA) aims to adapt a pre-trained source model to a target domain using only unlabeled target data. Current SFDA methods face challenges in effectively leveraging pre-trained knowledge and exploiting target domain data. Multimodal Large Language Models (MLLMs) offer remarkable capabilities in understanding visual and textual information, but their applicability to SFDA poses challenges such as instruction-following failures, intensive computational demands, and difficulties in performance measurement prior to adaptation. To alleviate these issues, we propose Reliability-based Curriculum Learning (RCL), a novel framework that integrates multiple MLLMs for knowledge exploitation via pseudo-labeling in SFDA. Our framework incorporates proposed Reliable Knowledge Transfer, Self-correcting and MLLM-guided Knowledge Expansion, and Multi-hot Masking Refinement to progressively exploit unlabeled data in the target domain. RCL achieves state-of-the-art (SOTA) performance on multiple SFDA benchmarks, e.g., $\textbf{+9.4%}$ on DomainNet, demonstrating its effectiveness in enhancing adaptability and robustness without requiring access to source data. Code: https://github.com/Dong-Jie-Chen/RCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google