An Information Theoretic Perspective on Conformal Prediction

要約

コンフォーマル・プレディクション（CP）は、ユーザーが指定した確率で真の答えを含むことが保証された予測集合を構築する、分布のない不確実性推定のフレームワークである。直観的には、予測セットのサイズは不確実性の一般的な概念をコード化し、より大きなセットはより高い不確実性に関連する。本研究では、情報理論を活用して、コンフォーマル予測を不確実性の他の概念と結びつける。より正確には、CPと情報理論的不等式を組み合わせることで、入力が与えられたときのターゲット変数の条件付きエントロピーによって記述されるような、本質的な不確実性を上限化する3つの異なる方法を証明する。(i)従来のアプローチを一般化し、機械学習モデルのゼロからのエンド・ツー・エンドの学習を可能にする、より原理的で効果的なコンフォーマル学習目標、(ii)コンフォーマル予測にサイド情報を組み込む自然なメカニズム。我々は、集中型学習と連合型学習の設定において、両方のアプリケーションを実証的に検証し、我々の理論的な結果が、一般的なCP手法の非効率性（平均予測セットサイズ）の低下につながることを示す。

要約(オリジナル)

Conformal Prediction (CP) is a distribution-free uncertainty estimation framework that constructs prediction sets guaranteed to contain the true answer with a user-specified probability. Intuitively, the size of the prediction set encodes a general notion of uncertainty, with larger sets associated with higher degrees of uncertainty. In this work, we leverage information theory to connect conformal prediction to other notions of uncertainty. More precisely, we prove three different ways to upper bound the intrinsic uncertainty, as described by the conditional entropy of the target variable given the inputs, by combining CP with information theoretical inequalities. Moreover, we demonstrate two direct and useful applications of such connection between conformal prediction and information theory: (i) more principled and effective conformal training objectives that generalize previous approaches and enable end-to-end training of machine learning models from scratch, and (ii) a natural mechanism to incorporate side information into conformal prediction. We empirically validate both applications in centralized and federated learning settings, showing our theoretical results translate to lower inefficiency (average prediction set size) for popular CP methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL