Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training

要約

テスト時のドメイン適応は、推論中に限定されたラベルのないターゲット データに事前トレーニングされたモデルを適応させることを目的とした困難なタスクです。
自己教師あり学習 (SSL) タスクが主な目的とうまく整合していない場合、自己教師とエントロピーの最小化に依存する現在の手法はパフォーマンスが低下します。
さらに、ミニバッチ内の多様性が限られている場合、エントロピーを最小限に抑えると次善の解決策が得られる可能性があります。
このペーパーでは、バッチ正規化 (BN) 層でのテスト時トレーニング用のメタ学習ミニマックス フレームワークを紹介し、ミニバッチの過学習に対処しながら、SSL タスクが主要なタスクと一致するようにします。
現在のテスト バッチ統計をソース ドメインからの統計で補間する混合 BN アプローチを採用し、モデルの一般化とドメイン シフトに対するロバスト性を向上させる確率的ドメイン合成手法を提案します。
広範な実験により、私たちの手法がさまざまなドメイン適応および一般化ベンチマークにわたって最先端の手法を上回り、目に見えないドメインに対する事前トレーニング済みモデルの堅牢性が大幅に向上することが実証されました。

要約(オリジナル)

Test-time domain adaptation is a challenging task that aims to adapt a pre-trained model to limited, unlabeled target data during inference. Current methods that rely on self-supervision and entropy minimization underperform when the self-supervised learning (SSL) task does not align well with the primary objective. Additionally, minimizing entropy can lead to suboptimal solutions when there is limited diversity within minibatches. This paper introduces a meta-learning minimax framework for test-time training on batch normalization (BN) layers, ensuring that the SSL task aligns with the primary task while addressing minibatch overfitting. We adopt a mixed-BN approach that interpolates current test batch statistics with the statistics from source domains and propose a stochastic domain synthesizing method to improve model generalization and robustness to domain shifts. Extensive experiments demonstrate that our method surpasses state-of-the-art techniques across various domain adaptation and generalization benchmarks, significantly enhancing the pre-trained model’s robustness on unseen domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google