Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach

要約

我々は、オンライン自己トレーニングを介したテスト時間への適応のための、2 つのコンポーネントからなる新しいアプローチを提案します。
まず、ラベルのないサンプルのストリームで取得された分類器のエントロピー値の分布シフトを検出する統計フレームワークを導入します。
2 番目に、検出ツールによって捕捉された分布シフトの証拠を利用して分類器のパラメーターを動的に更新するオンライン適応メカニズムを考案します。
結果として得られる適応プロセスにより、自己学習された分類器から取得されたテスト エントロピー値の分布がソース ドメインの分布と一致するようになり、分布のシフトに対する不変性が構築されます。
このアプローチは、分類器のエントロピーを最小限に抑えることに焦点を当てた従来の自己トレーニング方法とは異なります。
私たちのアプローチは、マーチンゲール賭けの概念とオンライン学習を組み合わせて、分布の変化に迅速に対応できる検出ツールを形成します。
次に、適応スキームと最適な転送との間の密接な関係を明らかにし、これが新しい自己教師あり損失の基礎を形成します。
実験結果は、私たちのアプローチが、分布シフトが存在しない場合でも精度とキャリブレーションを維持しながら、分布シフト下でのテスト時間の精度を向上させ、さまざまなシナリオにわたって主要なエントロピー最小化手法を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

We present a novel approach for test-time adaptation via online self-training, consisting of two components. First, we introduce a statistical framework that detects distribution shifts in the classifier’s entropy values obtained on a stream of unlabeled samples. Second, we devise an online adaptation mechanism that utilizes the evidence of distribution shifts captured by the detection tool to dynamically update the classifier’s parameters. The resulting adaptation process drives the distribution of test entropy values obtained from the self-trained classifier to match those of the source domain, building invariance to distribution shifts. This approach departs from the conventional self-training method, which focuses on minimizing the classifier’s entropy. Our approach combines concepts in betting martingales and online learning to form a detection tool capable of quickly reacting to distribution shifts. We then reveal a tight relation between our adaptation scheme and optimal transport, which forms the basis of our novel self-supervised loss. Experimental results demonstrate that our approach improves test-time accuracy under distribution shifts while maintaining accuracy and calibration in their absence, outperforming leading entropy minimization methods across various scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google