Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores

要約

標準の等角予測はカバレッジに関してわずかな保証を提供しますが、予測セットが真に役立つためには、理想的には各テスト ポイントの条件付きカバレッジを保証する必要があります。
残念ながら、有限のサンプルで正確な分布のない条件付きカバレッジを達成することは不可能です。
この研究では、分類子が誤った予測を過信している場合など、最も重要なカバレッジを対象とする、代替の等角予測アルゴリズムを提案します。
まず、限界的に有効な等角予測における誤検出イベントを分析し、誤検出率が分類器の信頼性とベイズ最適分類器からの偏差に基づいて変化することを示します。
この洞察に動機付けられて、我々は、予測に対する分類器の信頼度と、ベイズ分類器からの偏差を測定するノンパラメトリック信頼スコアという 2 つの変数の削減されたセットに基づいてカバレッジを条件とする等角予測の変形を開発します。
複数の画像データセットに対する経験的評価により、クラス条件付きカバレッジ、任意のサブグループに対するカバレッジ、人口統計グループに対するカバレッジなどの条件付きカバレッジ特性が、標準的な等角予測と比較して一般に改善されることが示されています。

要約(オリジナル)

Standard conformal prediction offers a marginal guarantee on coverage, but for prediction sets to be truly useful, they should ideally ensure coverage conditional on each test point. Unfortunately, it is impossible to achieve exact, distribution-free conditional coverage in finite samples. In this work, we propose an alternative conformal prediction algorithm that targets coverage where it matters most–in instances where a classifier is overconfident in its incorrect predictions. We start by dissecting miscoverage events in marginally-valid conformal prediction, and show that miscoverage rates vary based on the classifier’s confidence and its deviation from the Bayes optimal classifier. Motivated by this insight, we develop a variant of conformal prediction that targets coverage conditional on a reduced set of two variables: the classifier’s confidence in a prediction and a nonparametric trust score that measures its deviation from the Bayes classifier. Empirical evaluation on multiple image datasets shows that our method generally improves conditional coverage properties compared to standard conformal prediction, including class-conditional coverage, coverage over arbitrary subgroups, and coverage over demographic groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google