On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift

要約

分類器のトレーニングに使用されるデータの分布は、テストデータの分布、つまりデータセットシフトの下で、分類器の決定スコアを調整するための定評のあるルーチン、テストサンプルの正の割合の推定、または分類子の精度の推定のための定評のあるルーチンが特に困難になります。
このペーパーでは、データセットシフト条件下での3つの基本的な問題、キャリブレーション、定量化、および分類器の精度予測の相互接続を調査します。
具体的には、相互の削減を通じてそれらの同等性を証明します。つまり、これらのタスクのいずれかのOracleへのアクセスにより、他の2つの解像度が可能になることを示しています。
これらの証明に基づいて、他の分野から借用した定評のある方法の直接的な適応に基づいて、各問題の新しい方法を提案します。
私たちの結果は、そのような方法がしばしば競争力があり、時には各分野からの専用のアプローチのパフォーマンスを上回ることさえあることを示しています。
この論文の主な目標は、これらの研究分野の間で相互受精を促進し、統一されたアプローチの開発を促進し、フィールド全体の相乗効果を促進することです。

要約(オリジナル)

When the distribution of the data used to train a classifier differs from that of the test data, i.e., under dataset shift, well-established routines for calibrating the decision scores of the classifier, estimating the proportion of positives in a test sample, or estimating the accuracy of the classifier, become particularly challenging. This paper investigates the interconnections among three fundamental problems, calibration, quantification, and classifier accuracy prediction, under dataset shift conditions. Specifically, we prove their equivalence through mutual reduction, i.e., we show that access to an oracle for any one of these tasks enables the resolution of the other two. Based on these proofs, we propose new methods for each problem based on direct adaptations of well-established methods borrowed from the other disciplines. Our results show such methods are often competitive, and sometimes even surpass the performance of dedicated approaches from each discipline. The main goal of this paper is to fostering cross-fertilization among these research areas, encouraging the development of unified approaches and promoting synergies across the fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google