An Information Theoretic Perspective on Conformal Prediction

要約

等角予測 (CP) は、ユーザー指定の確率で真の答えが含まれることが保証された予測セットを構築する、分布に依存しない不確実性推定フレームワークです。
直観的には、予測セットのサイズは不確実性の一般的な概念をエンコードしており、セットが大きいほど不確実性の度合いが高くなります。
この研究では、情報理論を活用して等角予測を他の不確実性の概念に結び付けます。
より正確には、CP と情報理論上の不等式を組み合わせることにより、入力が与えられたターゲット変数の条件付きエントロピーによって記述される固有の不確実性の上限を設定する 3 つの異なる方法を証明します。
さらに、我々は、コンフォーマル予測と情報理論の間のこのような関係の 2 つの直接的で有用な応用例を示します。(i) 以前のアプローチを一般化し、ゼロからの機械学習モデルのエンドツーエンドのトレーニングを可能にする、より原理的で効果的なコンフォーマル トレーニング目標。
ii) サイド情報をコンフォーマル予測に組み込む自然なメカニズム。
私たちは集中学習設定と連合学習設定の両方のアプリケーションを経験的に検証し、理論的な結果が一般的な CP 手法の非効率性 (平均予測セット サイズ) の低下につながることを示しています。

要約(オリジナル)

Conformal Prediction (CP) is a distribution-free uncertainty estimation framework that constructs prediction sets guaranteed to contain the true answer with a user-specified probability. Intuitively, the size of the prediction set encodes a general notion of uncertainty, with larger sets associated with higher degrees of uncertainty. In this work, we leverage information theory to connect conformal prediction to other notions of uncertainty. More precisely, we prove three different ways to upper bound the intrinsic uncertainty, as described by the conditional entropy of the target variable given the inputs, by combining CP with information theoretical inequalities. Moreover, we demonstrate two direct and useful applications of such connection between conformal prediction and information theory: (i) more principled and effective conformal training objectives that generalize previous approaches and enable end-to-end training of machine learning models from scratch, and (ii) a natural mechanism to incorporate side information into conformal prediction. We empirically validate both applications in centralized and federated learning settings, showing our theoretical results translate to lower inefficiency (average prediction set size) for popular CP methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google