Improved Test-Time Adaptation for Domain Generalization

要約

【タイトル】ドメイン汎化のための改良されたテスト時適応

【要約】
– ドメイン汎化の主要な課題は、トレーニングデータとテストデータの間にある分布シフト問題を処理することである。
– テスト時間トレーニング(TTT)は、学習済みモデルをテストデータに適応させることで、問題の有望な解決策となるという研究結果がある。
– 一般的に、TTT戦略のパフォーマンスは2つの要因に依存する：適切な補助TTTタスクの選択と、テストフェーズ中に更新する信頼性のあるパラメータの識別。
– TTTは、これら2つの要因が適切に考慮されていない場合、学習済みモデルを悪化させる可能性があることが、以前の研究や本研究の実験から示唆されている。
– この研究では、ITTA方法を提唱することで、これら2つの要因に対処している。
– まず、補助目的をしいたりするのではなく、TTTタスクのために学習可能な一貫性損失を提案し、TTTタスクと主要な予測タスクのよりよい整列を向上させるために調整可能なパラメータを含む。
– 次に、学習されたモデルの適応的なパラメータを追加し、テストフェーズ中に適応的パラメータのみを更新することを提案する。
– 広範な実験により、提案された2つの戦略が学習されたモデルにとって有益であること（図1参照）、ITTAがいくつかのDGベンチマークで現在の最先端の方法よりも優れたパフォーマンスを発揮できることを示し、コードはhttps://github.com/liangchen527/ITTAにて公開されている。

要約(オリジナル)

The main challenge in domain generalization (DG) is to handle the distribution shift problem that lies between the training and test data. Recent studies suggest that test-time training (TTT), which adapts the learned model with test data, might be a promising solution to the problem. Generally, a TTT strategy hinges its performance on two main factors: selecting an appropriate auxiliary TTT task for updating and identifying reliable parameters to update during the test phase. Both previous arts and our experiments indicate that TTT may not improve but be detrimental to the learned model if those two factors are not properly considered. This work addresses those two factors by proposing an Improved Test-Time Adaptation (ITTA) method. First, instead of heuristically defining an auxiliary objective, we propose a learnable consistency loss for the TTT task, which contains learnable parameters that can be adjusted toward better alignment between our TTT task and the main prediction task. Second, we introduce additional adaptive parameters for the trained model, and we suggest only updating the adaptive parameters during the test phase. Through extensive experiments, we show that the proposed two strategies are beneficial for the learned model (see Figure 1), and ITTA could achieve superior performance to the current state-of-the-art methods on several DG benchmarks. Code is available at https://github.com/liangchen527/ITTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI