Improving Entropy-Based Test-Time Adaptation from a Clustering View

要約

ドメイン シフトは、トレーニング データとテスト データが異なるデータ分布に従っている現実世界では一般的な問題です。
この問題に対処するために、完全テスト時適応 (TTA) では、テスト中に発生したラベルのないデータを利用してモデルを適応させます。
特に、テストサンプルに対する予測のエントロピーを最小限に抑えるエントロピーベースの TTA (EBTTA) 手法は、大きな成功を収めています。
本稿では、クラスタリングの観点からこれらの手法を解釈する、EBTTA に関する新しい視点を紹介します。
これは反復アルゴリズムです。1) 割り当てステップでは、EBTTA モデルの前方プロセスはこれらのテスト サンプルのラベルの割り当てであり、2) 更新ステップでは、後方プロセスは割り当てられたラベルを介してモデルを更新します。
サンプル。
この解釈に基づいて、EBTTA についてより深く理解することができます。
したがって、既存の EBTTA 手法が初期割り当て、最近傍情報、外れ値、およびバッチ サイズに影響を受けやすい理由について、別の説明を提供します。
この観察は、EBTTA の改善を推進するための指針となります。
上記の問題を軽減するために、ロバストなラベル割り当て、局所性保持制約、サンプル選択、および勾配累積を使用することを提案します。
実験結果は、私たちの方法がさまざまなデータセットで一貫した改善を達成できることを示しています。
コードは補足資料に記載されています。

要約(オリジナル)

Domain shift is a common problem in the realistic world, where training data and test data follow different data distributions. To deal with this problem, fully test-time adaptation (TTA) leverages the unlabeled data encountered during test time to adapt the model. In particular, entropy-based TTA (EBTTA) methods, which minimize the prediction’s entropy on test samples, have shown great success. In this paper, we introduce a new perspective on the EBTTA, which interprets these methods from a view of clustering. It is an iterative algorithm: 1) in the assignment step, the forward process of the EBTTA models is the assignment of labels for these test samples, and 2) in the updating step, the backward process is the update of the model via the assigned samples. Based on the interpretation, we can gain a deeper understanding of EBTTA. Accordingly, we offer an alternative explanation for why existing EBTTA methods are sensitive to initial assignments, nearest neighbor information, outliers, and batch size. This observation can guide us to put forward the improvement of EBTTA. We propose to use robust label assignment, locality-preserving constraint, sample selection, and gradient accumulation to alleviate the above problems. Experimental results demonstrate that our method can achieve consistent improvements on various datasets. Code is provided in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google