Length Optimization in Conformal Prediction

要約

条件の妥当性と長さの効率は、等角予測 (CP) の 2 つの重要な側面です。
条件付き妥当性によりデータ部分母集団の不確実性の正確な定量化が保証され、適切な長さの効率により予測セットが有益なままであることが保証されます。
これらの問題のそれぞれに個別に対処するための多大な努力にもかかわらず、これら 2 つの目的を調和させる原則的な枠組みが CP 文献には欠けています。
この論文では、長さ最適化による等角予測 (CPL) を開発します。これは、限界と限界の主要なケースを含む、さまざまなクラスの共変量シフトの下で条件付き妥当性を確保しながら、(ほぼ) 最適な長さで予測セットを構築する斬新で実用的なフレームワークです。
グループ条件付き補償。
無限サンプル領域では、CPL が条件付き妥当性と長さの最適性を達成することを示す強力な双対性の結果が得られます。
有限サンプル領域では、CPL が条件付きで有効な予測セットを構築することを示します。
当社の広範な実証的評価は、分類、回帰、および大規模な言語モデルベースの多肢選択式質問応答において、現実世界および合成の多様なデータセットにわたる最先端の手法と比較して、CPL の予測セット サイズ パフォーマンスが優れていることを実証しています。
私たちのアルゴリズムの実装には、次のリンクからアクセスできます: https://github.com/shayankiyani98/CP。

要約(オリジナル)

Conditional validity and length efficiency are two crucial aspects of conformal prediction (CP). Conditional validity ensures accurate uncertainty quantification for data subpopulations, while proper length efficiency ensures that the prediction sets remain informative. Despite significant efforts to address each of these issues individually, a principled framework that reconciles these two objectives has been missing in the CP literature. In this paper, we develop Conformal Prediction with Length-Optimization (CPL) – a novel and practical framework that constructs prediction sets with (near-) optimal length while ensuring conditional validity under various classes of covariate shifts, including the key cases of marginal and group-conditional coverage. In the infinite sample regime, we provide strong duality results which indicate that CPL achieves conditional validity and length optimality. In the finite sample regime, we show that CPL constructs conditionally valid prediction sets. Our extensive empirical evaluations demonstrate the superior prediction set size performance of CPL compared to state-of-the-art methods across diverse real-world and synthetic datasets in classification, regression, and large language model-based multiple choice question answering. An Implementation of our algorithm can be accessed at the following link: https://github.com/shayankiyani98/CP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google