ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation

要約

実際のマシン システムは非定常で継続的に変化する環境で実行されるため、継続的に変化するターゲット ドメインに事前トレーニングされたモデルを適応させる継続的テスト時間適応 (CTTA) タスクが提案されています。
最近、既存の手法は主にモデルベースの適応に焦点を当てており、自己学習方式を活用してターゲット領域の知識を抽出することを目的としています。
ただし、擬似ラベルにはノイズが多く、動的データ分布の下では更新されたモデル パラメーターが不確実であるため、継続的な適応プロセスでエラーが蓄積され、致命的な忘却が発生します。
これらの課題に取り組み、モデルの可塑性を維持するために、CTTA 用のビジュアル ドメイン アダプター (ViDA) を巧みに設計し、ドメイン固有の知識とドメインに依存しない知識の両方を明示的に処理します。
具体的には、まず、トレーニング可能な高ランクおよび低ランクの埋め込み空間を使用して、アダプターのさまざまなドメイン表現を包括的に調査します。
次に、事前トレーニングされたモデルに ViDA を注入します。これにより、高ランクと低ランクのプロトタイプを活用して、それぞれ現在のドメイン分布を適応させ、継続的なドメイン共有知識を維持します。
ターゲットドメインにおける各サンプルのさまざまな分布シフトに適応するために、各 ViDA からの知識を異なるランクのプロトタイプと適応的にマージする恒常性知識割り当て (HKA) 戦略をさらに提案します。
広く使用されている 4 つのベンチマークで行われた広範な実験により、提案された手法が分類とセグメンテーション CTTA タスクの両方で最先端のパフォーマンスを達成できることが実証されました。
さらに、私たちの方法は新しい転送パラダイムとみなすことができ、継続的な下流のタスクと配布に対する基礎モデルのゼロショット適応において有望な結果を示しています。

要約(オリジナル)

Since real-world machine systems are running in non-stationary and continually changing environments, Continual Test-Time Adaptation (CTTA) task is proposed to adapt the pre-trained model to continually changing target domains. Recently, existing methods mainly focus on model-based adaptation, which aims to leverage a self-training manner to extract the target domain knowledge. However, pseudo labels can be noisy and the updated model parameters are uncertain under dynamic data distributions, leading to error accumulation and catastrophic forgetting in the continual adaptation process. To tackle these challenges and maintain the model plasticity, we tactfully design a Visual Domain Adapter (ViDA) for CTTA, explicitly handling both domain-specific and domain-agnostic knowledge. Specifically, we first comprehensively explore the different domain representations of the adapters with trainable high and low-rank embedding space. Then we inject ViDAs into the pre-trained model, which leverages high-rank and low-rank prototypes to adapt the current domain distribution and maintain the continual domain-shared knowledge, respectively. To adapt to the various distribution shifts of each sample in target domains, we further propose a Homeostatic Knowledge Allotment (HKA) strategy, which adaptively merges knowledge from each ViDA with different rank prototypes. Extensive experiments conducted on four widely-used benchmarks demonstrate that our proposed method achieves state-of-the-art performance in both classification and segmentation CTTA tasks. In addition, our method can be regarded as a novel transfer paradigm and showcases promising results in zero-shot adaptation of foundation models to continual downstream tasks and distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google