Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering

要約

分布の変化する対象領域のデータにモデルを適用するためには、適応が必要である。TTT（Test-Time Training）は、原データへのアクセスが不可能であり、ターゲット領域での推論が必要な現実的なシナリオにおいて、この適応のためのソリューションとして登場した。TTTには多くの取り組みがなされているが、実験設定に混乱があり、不公平な比較につながる。本研究では、まずTTTの仮定を再考し、TTTプロトコルを2つの重要な要素によって分類する。複数のプロトコルのうち、我々は現実的な逐次テスト時間学習（sTTT）プロトコルを採用し、さらにテスト時間固定クラスタリング（TTAC）アプローチを開発し、より強力なテスト時間特徴学習を可能にする。TTACは、ソースとターゲットの両方の領域でクラスタを発見し、ソースのクラスタにターゲットのクラスタをマッチングさせ、汎化率を向上させる。擬似ラベルフィルタリングと反復更新を開発し、アンカー型クラスタリングの有効性と効率性を向上させる。我々は、5つのTTTデータセットにおいて、全てのTTTプロトコル下でTTACが一貫して最先端手法を上回ることを実証する。我々は、この研究がTTT手法の公正なベンチマークを提供し、将来の研究がそれぞれのプロトコルの中で比較されることを望む。デモコードは https://github.com/Gorilla-Lab-SCUT/TTAC で公開されています。

要約(オリジナル)

Deploying models on target domain data subject to distribution shift requires adaptation. Test-time training (TTT) emerges as a solution to this adaptation under a realistic scenario where access to full source domain data is not available and instant inference on target domain is required. Despite many efforts into TTT, there is a confusion over the experimental settings, thus leading to unfair comparisons. In this work, we first revisit TTT assumptions and categorize TTT protocols by two key factors. Among the multiple protocols, we adopt a realistic sequential test-time training (sTTT) protocol, under which we further develop a test-time anchored clustering (TTAC) approach to enable stronger test-time feature learning. TTAC discovers clusters in both source and target domain and match the target clusters to the source ones to improve generalization. Pseudo label filtering and iterative updating are developed to improve the effectiveness and efficiency of anchored clustering. We demonstrate that under all TTT protocols TTAC consistently outperforms the state-of-the-art methods on five TTT datasets. We hope this work will provide a fair benchmarking of TTT methods and future research should be compared within respective protocols. A demo code is available at https://github.com/Gorilla-Lab-SCUT/TTAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL