SATA: Source Anchoring and Target Alignment Network for Continual Test Time Adaptation

要約

タイトル：SATA：継続的なテスト時間の適応に対するソースアンカリングとターゲットアライメントネットワーク
要約：
– 学習済みモデルを継続的に変化するテスト領域/環境に適応させることは、重要で困難な課題である。
– 新しいドメインの知識を取り込むことなく、事前に学習されたネットワークが引き続きソースドメインでうまく機能することが必要である。
– SATAフレームワークは、ソースアンカリングに基づくセルフディスティレーションを使用して、バッチノーマライゼーションアフィンパラメーターを修正し、新たに出会ったドメインの知識を取り込みながら、以前に見たものを忘れることがないようにする。
– ターゲットサンプルの自然なグルーピングを保ちながら、既に学習された意味情報を維持するために、ソースプロトタイプ駆動のコントラスティブアライメントも提案されている。
– 3つのベンチマークデータセットでの詳細な評価が、SATAが実世界のアプリケーションにおいて有効であることを示している。

要約(オリジナル)

Adapting a trained model to perform satisfactorily on continually changing testing domains/environments is an important and challenging task. In this work, we propose a novel framework, SATA, which aims to satisfy the following characteristics required for online adaptation: 1) can work seamlessly with different (preferably small) batch sizes to reduce latency; 2) should continue to work well for the source domain; 3) should have minimal tunable hyper-parameters and storage requirements. Given a pre-trained network trained on source domain data, the proposed SATA framework modifies the batch-norm affine parameters using source anchoring based self-distillation. This ensures that the model incorporates the knowledge of the newly encountered domains, without catastrophically forgetting about the previously seen ones. We also propose a source-prototype driven contrastive alignment to ensure natural grouping of the target samples, while maintaining the already learnt semantic information. Extensive evaluation on three benchmark datasets under challenging settings justify the effectiveness of SATA for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI