STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay

要約

テスト時アダプテーション (TTA) は、テスト時にラベルのないデータのみを使用して、トレーニング データとテスト データの間の分布シフトに対処することを目的としています。
既存の TTA 手法は、多くの場合、特にトレーニング セット内のクラスに関連付けられたテスト データの認識パフォーマンスを向上させることに重点を置いています。
ただし、オープンワールドの推論プロセス中には、一般に外れ値と呼ばれる、未知のクラスからのテスト データ インスタンスが必然的に存在します。
本稿では、外れ値が存在する状態で推論中にサンプル認識と外れ値の棄却を同時に行う問題に注目する。
この問題に対処するために、危険なミニバッチではなく安定したメモリ バンクに対して最適化を実行する STable Memory rePlay (STAMP) と呼ばれる新しいアプローチを提案します。
特に、メモリ バンクは、クラス バランスのとれた方法で低エントロピーでラベルの一貫したサンプルを選択することによって動的に更新されます。
さらに、低エントロピーのサンプルにより高い重みを割り当てる自己加重エントロピー最小化戦略を開発します。
広範な結果は、STAMP が認識と外れ値検出の両方のパフォーマンスの点で既存の TTA 手法よりも優れていることを示しています。
コードは https://github.com/yuyongcan/STAMP で公開されています。

要約(オリジナル)

Test-time adaptation (TTA) aims to address the distribution shift between the training and test data with only unlabeled data at test time. Existing TTA methods often focus on improving recognition performance specifically for test data associated with classes in the training set. However, during the open-world inference process, there are inevitably test data instances from unknown classes, commonly referred to as outliers. This paper pays attention to the problem that conducts both sample recognition and outlier rejection during inference while outliers exist. To address this problem, we propose a new approach called STAble Memory rePlay (STAMP), which performs optimization over a stable memory bank instead of the risky mini-batch. In particular, the memory bank is dynamically updated by selecting low-entropy and label-consistent samples in a class-balanced manner. In addition, we develop a self-weighted entropy minimization strategy that assigns higher weight to low-entropy samples. Extensive results demonstrate that STAMP outperforms existing TTA methods in terms of both recognition and outlier detection performance. The code is released at https://github.com/yuyongcan/STAMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google