Improving Entropy-Based Test-Time Adaptation from a Clustering View

要約

ドメイン シフトは、トレーニング データとテスト データが異なるデータ分布に従っている現実世界では一般的な問題です。
この問題に対処するために、完全テスト時適応 (TTA) では、テスト中に発生したラベルのないデータを利用してモデルを適応させます。
特に、テストサンプルに対する予測のエントロピーを最小限に抑えるエントロピーベースの TTA (EBTTA) 手法は、大きな成功を収めています。
本稿では、クラスタリングの観点からこれらの手法を解釈する、EBTTA に関する新しい視点を紹介します。
これは反復アルゴリズムです。1) 割り当てステップでは、EBTTA モデルの前方プロセスはこれらのテスト サンプルのラベルの割り当てであり、2) 更新ステップでは、後方プロセスは割り当てられたラベルを介してモデルを更新します。
サンプル。
この解釈に基づいて、EBTTA をより深く理解することができ、エントロピー損失が最大確率をさらに増加させることを示します。
したがって、既存の EBTTA メソッドが初期割り当て、外れ値、バッチ サイズの影響を受けやすい理由について、別の説明を提供します。
この観察は、EBTTA の改善を推進するための指針となります。
上記の問題を軽減するために、ロバストなラベル割り当て、重み調整、および勾配累積を提案します。
実験結果は、私たちの方法がさまざまなデータセットで一貫した改善を達成できることを示しています。
コードは補足資料に記載されています。

要約(オリジナル)

Domain shift is a common problem in the realistic world, where training data and test data follow different data distributions. To deal with this problem, fully test-time adaptation (TTA) leverages the unlabeled data encountered during test time to adapt the model. In particular, Entropy-Based TTA (EBTTA) methods, which minimize the prediction’s entropy on test samples, have shown great success. In this paper, we introduce a new perspective on the EBTTA, which interprets these methods from a view of clustering. It is an iterative algorithm: 1) in the assignment step, the forward process of the EBTTA models is the assignment of labels for these test samples, and 2) in the updating step, the backward process is the update of the model via the assigned samples. Based on the interpretation, we can gain a deeper understanding of EBTTA, where we show that the entropy loss would further increase the largest probability. Accordingly, we offer an alternative explanation for why existing EBTTA methods are sensitive to initial assignments, outliers, and batch size. This observation can guide us to put forward the improvement of EBTTA. We propose robust label assignment, weight adjustment, and gradient accumulation to alleviate the above problems. Experimental results demonstrate that our method can achieve consistent improvements on various datasets. Code is provided in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google