Towards Understanding GD with Hard and Conjugate Pseudo-labels for Test-Time Adaptation

要約

新しいドメインからのラベル付けされていないテストサンプルのみがテスト時にアクセスできることを考えると、モデルが分布シフトの下で新しいドメインに適応する必要があるという設定を検討します。
関連する作品のほとんどに共通するアイデアは、ラベルのないテスト サンプルの疑似ラベルを作成し、疑似ラベルを使用して損失関数に勾配降下 (GD) を適用することです。
最近、\cite{GSRK22} は共役ラベルを提案しました。これは、テスト時の自己訓練用の新しい種類の疑似ラベルです。
彼らは、共役ラベルが多くのドメイン適応ベンチマークで疑似ラベル付けの他の方法よりも優れていることを経験的に示しています。
ただし、共役ラベルを使用した GD がテスト時間の適応のための優れた分類器を学習することを実証的に示すことは、未解決のままです。
この作業では、バイナリ分類問題のハード ラベルと共役ラベルを使用して GD を理論的に理解することを目的としています。
二乗損失の場合、共役ラベルを持つ GD は任意の小さな $\epsilon$ のガウス モデルの下で $\epsilon$-最適な予測子に収束しますが、ハード疑似ラベルを持つ GD はこのタスクで失敗することを示します。
また、更新のためにさまざまな損失関数の下でそれらを分析します。
私たちの結果は、ハードラベルまたはコンジュゲートラベルを使用したGDがテスト時間の適応で機能する時期と理由を理解することに光を当てます。

要約(オリジナル)

We consider a setting that a model needs to adapt to a new domain under distribution shifts, given that only unlabeled test samples from the new domain are accessible at test time. A common idea in most of the related works is constructing pseudo-labels for the unlabeled test samples and applying gradient descent (GD) to a loss function with the pseudo-labels. Recently, \cite{GSRK22} propose conjugate labels, which is a new kind of pseudo-labels for self-training at test time. They empirically show that the conjugate label outperforms other ways of pseudo-labeling on many domain adaptation benchmarks. However, provably showing that GD with conjugate labels learns a good classifier for test-time adaptation remains open. In this work, we aim at theoretically understanding GD with hard and conjugate labels for a binary classification problem. We show that for square loss, GD with conjugate labels converges to an $\epsilon$-optimal predictor under a Gaussian model for any arbitrarily small $\epsilon$, while GD with hard pseudo-labels fails in this task. We also analyze them under different loss functions for the update. Our results shed lights on understanding when and why GD with hard labels or conjugate labels works in test-time adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google