Revisiting Test Time Adaptation under Online Evaluation

要約

タイトル：オンライン評価下でのテスト時適応の見直し

要約：
– この論文は、テスト時適応（TTA）手法のための新しいオンライン評価プロトコルを提案しています。
– TTA手法は、テスト時にラベルのないデータを用いて分布の変化に適応する手法です。
– 有効なTTA手法は多数提案されていますが、その印象的な性能は通常大量の計算を必要とします。
– 現在の評価プロトコルは、この追加の計算コストの影響を見落としており、現実的な応用性に影響を及ぼします。
– この問題を解決するため、本論文では、一定速度のデータストリームからオンラインでデータを受信するような、より現実的なTTA手法の評価プロトコルを提案しています。
– 著者らは、提案されたプロトコルを複数のデータセットとシナリオでTTA手法のベンチマークに適用しました。
– 結果、推論速度を考慮した簡単で高速な手法が、より複雑で遅い手法よりも優れた性能を発揮することが示されました。
– 著者らは、オンライン評価プロトコルによって、現実的な設定で効率的かつ応用可能なTTA手法の開発の必要性を強調しています。

要約(オリジナル)

This paper proposes a novel online evaluation protocol for Test Time Adaptation (TTA) methods, which penalizes slower methods by providing them with fewer samples for adaptation. TTA methods leverage unlabeled data at test time to adapt to distribution shifts. Though many effective methods have been proposed, their impressive performance usually comes at the cost of significantly increased computation budgets. Current evaluation protocols overlook the effect of this extra computation cost, affecting their real-world applicability. To address this issue, we propose a more realistic evaluation protocol for TTA methods, where data is received in an online fashion from a constant-speed data stream, thereby accounting for the method’s adaptation speed. We apply our proposed protocol to benchmark several TTA methods on multiple datasets and scenarios. Extensive experiments shows that, when accounting for inference speed, simple and fast approaches can outperform more sophisticated but slower methods. For example, SHOT from 2020 outperforms the state-of-the-art method SAR from 2023 under our online setting. Our online evaluation protocol emphasizes the need for developing TTA methods that are efficient and applicable in realistic settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI