Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with ‘Spurious’ Correlations

要約

テスト時のデータ分布の変化は、予測モデル $p(y|x)$ のパフォーマンスに悪影響を与える可能性があります。
$z$ で示される追加のメタデータ ラベル (グループ ラベルなど) が分布におけるそのような変化を説明できる状況を考慮します。
特に、クラスラベル $y$ と「迷惑」因子 $z$ の間の依存関係をモデル化する事前分布 $p(y, z)$ は、ドメイン間で変化する可能性があると仮定します。
これらの用語間の相関関係、またはそれらの限界の 1 つの変化。
ただし、特徴 $p(x|y, z)$ の生成モデルはドメイン間で不変であると仮定します。
これは、広く使用されている「ラベル シフト」仮定の拡張バージョンに対応しており、ラベルには迷惑因子 $z$ も含まれていることに注意してください。
この観察に基づいて、ターゲット領域分布 $p_t(x)$ のラベルなしサンプルに適用される EM を使用して、結合分布 $p(y, z)$ の変化に適応するテスト時のラベル シフト補正を提案します。
重要なのは、生成モデル $p(x|y,z)$ のフィッティングを回避でき、ソース分布でトレーニングされた判別モデル $p_s(y,z|x)$ の出力を再重み付けするだけで済むことです。
私たちは、「Test-Time Label-Shift Adaptation」(TTLSA) と呼ぶこの方法を、いくつかの標準的な画像およびテキスト データセット、および CheXpert 胸部 X 線データセットで評価し、ターゲットを絞った方法よりもパフォーマンスが向上することを示します。
分布の変化に対する不変性、およびベースラインの経験的リスク最小化手法。
実験を再現するコードは https://github.com/nalzok/test-time-label-shift で入手できます。

要約(オリジナル)

Changes in the data distribution at test time can have deleterious effects on the performance of predictive models $p(y|x)$. We consider situations where there are additional meta-data labels (such as group labels), denoted by $z$, that can account for such changes in the distribution. In particular, we assume that the prior distribution $p(y, z)$, which models the dependence between the class label $y$ and the ‘nuisance’ factors $z$, may change across domains, either due to a change in the correlation between these terms, or a change in one of their marginals. However, we assume that the generative model for features $p(x|y, z)$ is invariant across domains. We note that this corresponds to an expanded version of the widely used ‘label shift’ assumption, where the labels now also include the nuisance factors $z$. Based on this observation, we propose a test-time label shift correction that adapts to changes in the joint distribution $p(y, z)$ using EM applied to unlabeled samples from the target domain distribution, $p_t(x)$. Importantly, we are able to avoid fitting a generative model $p(x|y,z)$, and merely need to reweight the outputs of a discriminative model $p_s(y,z|x)$ trained on the source distribution. We evaluate our method, which we call ‘Test-Time Label-Shift Adaptation’ (TTLSA), on several standard image and text datasets, as well as the CheXpert chest X-ray dataset, and show that it improves performance over methods that target invariance to changes in the distribution, as well as baseline empirical risk minimization methods. Code for reproducing experiments is available at https://github.com/nalzok/test-time-label-shift .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google