DEJA VU: Continual Model Generalization For Unseen Domains

要約

実際のアプリケーションでは、ディープ ラーニング モデルは、ターゲット データの分布が時間の経過とともに継続的に変化する非定常環境で実行されることがよくあります。
クロスドメイン適応能力を向上させるために、オンライン モードとオフライン モードの両方で多数のドメイン適応 (DA) メソッドが存在します。
ただし、これらの DA メソッドは通常、長期間の適応後にのみ良好なパフォーマンスを提供し、適応前および適応中の新しいドメインではパフォーマンスが低下します。これは、特にドメインシフトが突然大幅に発生した場合に、「なじみのない期間」と呼ばれます。
一方、ドメイン一般化 (DG) 手法は、適応されていないドメインでのモデル一般化能力を改善するために提案されています。
ただし、既存の DG の作業は、学習した知識の壊滅的な忘却が深刻なため、継続的に変化するドメインには効果がありません。
継続的なドメイン シフト中に不慣れな期間を処理する際の DA と DG のこれらの制限を克服するために、効果的なターゲット ドメイン適応 (TDA) 機能の権利も達成しながら、モデルのターゲット ドメイン一般化 (TDG) 機能の改善に焦点を当てたフレームワークである RaTP を提案します。
特定のドメインでトレーニングし、過去のドメインで緩和 (FA) 機能を忘れた後。
RaTP には、TDG 用のデータを準備するためのトレーニング不要のデータ拡張モジュール、TDA の信頼できる監視を提供するための新しい疑似ラベリング メカニズム、および TDG、TDA、および FA を達成するためにさまざまなドメインを調整するためのプロトタイプの対照的アライメント アルゴリズムが含まれています。
Digits、PACS、および DomainNet に関する広範な実験により、RaTP は、Continual DA、Source-Free DA、Test-Time/Online DA、Single DG、Multiple DG、および TDG の統合 DA&DG からの最先端の作業よりも大幅に優れていることが実証されています。
同等の TDA および FA 機能を実現します。

要約(オリジナル)

In real-world applications, deep learning models often run in non-stationary environments where the target data distribution continually shifts over time. There have been numerous domain adaptation (DA) methods in both online and offline modes to improve cross-domain adaptation ability. However, these DA methods typically only provide good performance after a long period of adaptation, and perform poorly on new domains before and during adaptation – in what we call the ‘Unfamiliar Period’, especially when domain shifts happen suddenly and significantly. On the other hand, domain generalization (DG) methods have been proposed to improve the model generalization ability on unadapted domains. However, existing DG works are ineffective for continually changing domains due to severe catastrophic forgetting of learned knowledge. To overcome these limitations of DA and DG in handling the Unfamiliar Period during continual domain shift, we propose RaTP, a framework that focuses on improving models’ target domain generalization (TDG) capability, while also achieving effective target domain adaptation (TDA) capability right after training on certain domains and forgetting alleviation (FA) capability on past domains. RaTP includes a training-free data augmentation module to prepare data for TDG, a novel pseudo-labeling mechanism to provide reliable supervision for TDA, and a prototype contrastive alignment algorithm to align different domains for achieving TDG, TDA and FA. Extensive experiments on Digits, PACS, and DomainNet demonstrate that RaTP significantly outperforms state-of-the-art works from Continual DA, Source-Free DA, Test-Time/Online DA, Single DG, Multiple DG and Unified DA&DG in TDG, and achieves comparable TDA and FA capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google