Demystifying Disagreement-on-the-Line in High Dimensions

要約

分布シフト下での機械学習モデルのパフォーマンスを評価することは困難です。特に、元の (ソース) ドメインからのラベル付きデータと共に、シフトされた (ターゲット) ドメインからのラベル付けされていないデータしかない場合はなおさらです。
最近の研究では、不一致の概念、つまり異なるランダム性でトレーニングされた 2 つのモデルが同じ入力に対してどの程度異なるかが、この問題に取り組むための鍵であることが示唆されています。
実験的に、不一致と予測誤差は強く関連していることが示されており、モデルのパフォーマンスを推定するために使用されています。
実験により、不一致の現象が発見されました。これにより、ターゲットドメインでの分類エラーは、ソースドメインでの分類エラーの線形関数になることがよくあります。
そして、このプロパティが成り立つときはいつでも、ソース ドメインとターゲット ドメインでの不一致は同じ線形関係に従います。
この作業では、高次元ランダム特徴回帰における不一致を分析するための理論的基盤を開発します。
そして、私たちの環境で意見の不一致現象がどのような条件下で発生するかを研究します。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17 での実験は、私たちの理論と一致しており、理論的発見の普遍性を支持しています。

要約(オリジナル)

Evaluating the performance of machine learning models under distribution shift is challenging, especially when we only have unlabeled data from the shifted (target) domain, along with labeled data from the original (source) domain. Recent work suggests that the notion of disagreement, the degree to which two models trained with different randomness differ on the same input, is a key to tackle this problem. Experimentally, disagreement and prediction error have been shown to be strongly connected, which has been used to estimate model performance. Experiments have led to the discovery of the disagreement-on-the-line phenomenon, whereby the classification error under the target domain is often a linear function of the classification error under the source domain; and whenever this property holds, disagreement under the source and target domain follow the same linear relation. In this work, we develop a theoretical foundation for analyzing disagreement in high-dimensional random features regression; and study under what conditions the disagreement-on-the-line phenomenon occurs in our setting. Experiments on CIFAR-10-C, Tiny ImageNet-C, and Camelyon17 are consistent with our theory and support the universality of the theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google