AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation

要約

タイトル：AdaNPC：テストタイム適応のための非パラメトリック分類器の探索

要約：

– マシンラーニングタスクは、未知の分布に汎化できるモデルを開発することに焦点を当てている。
– ドメインジェネラリゼーションは、多くの分野で重要なトピックの1つになっている。
– DGは、ターゲットドメイン情報を利用しない場合、任意に厳しいことが示されている。
– この問題に対処するために、テストタイムアダプティブ（TTA）手法が提案されている。
– 既存のTTA方法は、オフラインターゲットデータまたは推論ステージでの追加の複雑な最適化手順が必要である。
– 本研究では、テストタイムアダプテーション（AdaNPC）のために非パラメトリック分類器を採用する。
– 特に、トレーニングドメインからの特徴とラベルペアを含むメモリを構築する。
– 推論中、テストインスタンスが与えられると、AdaNPCはメモリからKつの最も似たデータを選択し、予測するために投票する。その後、テストフィーチャーと予測されたラベルがメモリに追加される。
– この方法では、メモリ内のサンプル分布がトレーニング分布からテスト分布に向かって徐々に変化し、非常に少ない追加計算費用で実現できる。
– 提案手法の合理性を理論的に正当化する。
– さらに、詳細な数値実験でモデルをテストする。
– AdaNPCは、さまざまなDGベンチマークで競合するベースラインを大幅に上回る結果を示した。
– 特に、適応ターゲットが一連のドメインである場合、AdaNPCの適応精度は、高度なTTA手法よりも50％高かった。
– コードはhttps://github.com/yfzhang114/AdaNPCで利用可能。

要約(オリジナル)

Many recent machine learning tasks focus to develop models that can generalize to unseen distributions. Domain generalization (DG) has become one of the key topics in various fields. Several literatures show that DG can be arbitrarily hard without exploiting target domain information. To address this issue, test-time adaptive (TTA) methods are proposed. Existing TTA methods require offline target data or extra sophisticated optimization procedures during the inference stage. In this work, we adopt Non-Parametric Classifier to perform the test-time Adaptation (AdaNPC). In particular, we construct a memory that contains the feature and label pairs from training domains. During inference, given a test instance, AdaNPC first recalls K closed samples from the memory to vote for the prediction, and then the test feature and predicted label are added to the memory. In this way, the sample distribution in the memory can be gradually changed from the training distribution towards the test distribution with very little extra computation cost. We theoretically justify the rationality behind the proposed method. Besides, we test our model on extensive numerical experiments. AdaNPC significantly outperforms competitive baselines on various DG benchmarks. In particular, when the adaptation target is a series of domains, the adaptation accuracy of AdaNPC is 50% higher than advanced TTA methods. The code is available at https://github.com/yfzhang114/AdaNPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI