Conformal Prediction for Class-wise Coverage via Augmented Label Rank Calibration

要約

等角予測 (CP) は、事前に指定された周辺確率または条件付き確率で真のラベルをカバーする予測セットを構築できる、新たな不確実性定量化フレームワークです。
有効カバレッジの保証は分類問題に関して広く研究されていますが、CP は多くの場合、実際には役に立たない可能性のある大規模な予測セットを生成します。
この問題は、多数のクラスや不均衡なクラスの不均衡な分類タスクに対するクラス条件付きカバレッジの設定により悪化します。
この論文では、クラスごとに有効なカバレッジが維持されるクラス条件付きカバレッジを達成するために、予測セットのサイズを削減するランク調整クラス条件付き CP (RC3P) アルゴリズムを提案します。
クラスごとにクラスごとの適合性スコアを一律にしきい値処理する標準のクラス条件付き CP (CCP) メソッドとは対照的に、拡張ラベル ランク キャリブレーション ステップにより、RC3P はクラスのサブセットに対してのみ、このクラスごとのしきい値処理サブルーチンを選択的に繰り返すことができます。
クラスごとのtop-kエラーは小さいです。
RC3P は分類器とデータ分散に依存せず、クラスごとのカバレッジを達成できることを証明します。
また、RC3P は CCP 手法と比較して予測セットのサイズを削減することも示します。
複数の実世界のデータセットに対する包括的な実験により、RC3P がクラスごとのカバレッジを達成し、予測セット サイズを平均 26.25% 削減できることが実証されました。

要約(オリジナル)

Conformal prediction (CP) is an emerging uncertainty quantification framework that allows us to construct a prediction set to cover the true label with a pre-specified marginal or conditional probability. Although the valid coverage guarantee has been extensively studied for classification problems, CP often produces large prediction sets which may not be practically useful. This issue is exacerbated for the setting of class-conditional coverage on imbalanced classification tasks with many and/or imbalanced classes. This paper proposes the Rank Calibrated Class-conditional CP (RC3P) algorithm to reduce the prediction set sizes to achieve class-conditional coverage, where the valid coverage holds for each class. In contrast to the standard class-conditional CP (CCP) method that uniformly thresholds the class-wise conformity score for each class, the augmented label rank calibration step allows RC3P to selectively iterate this class-wise thresholding subroutine only for a subset of classes whose class-wise top-k error is small. We prove that agnostic to the classifier and data distribution, RC3P achieves class-wise coverage. We also show that RC3P reduces the size of prediction sets compared to the CCP method. Comprehensive experiments on multiple real-world datasets demonstrate that RC3P achieves class-wise coverage and 26.25% reduction in prediction set sizes on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google