A novel Deep Learning approach for one-step Conformal Prediction approximation

要約

現実世界の問題、特にリスクの高い状況では、測定可能な信頼性を備えたディープラーニング予測がますます望まれています。
Conformal Prediction (CP) フレームワークは、最小限の制約のもとで最大の誤り率を保証する多用途のソリューションです。
この論文では、従来の 2 ステップの CP アプローチを 1 ステップで近似する新しい等角損失関数を提案します。
厳密に予想される CP 出力分布からの逸脱を評価してペナルティを課すことにより、深層学習モデルは入力データと等角 p 値の間の直接の関係を学習することができます。
包括的な経験的評価を実行して、5 つのベンチマーク データセットに対する 7 つのバイナリおよびマルチクラス予測タスクに対する新しい損失関数の競争力を示します。
同じデータセット上で、私たちのアプローチは、同等の近似妥当性と予測効率を維持しながら、集約等形予測 (ACP) と比較して最大 86% の大幅なトレーニング時間の削減を達成します。

要約(オリジナル)

Deep Learning predictions with measurable confidence are increasingly desirable for real-world problems, especially in high-risk settings. The Conformal Prediction (CP) framework is a versatile solution that guarantees a maximum error rate given minimal constraints. In this paper, we propose a novel conformal loss function that approximates the traditionally two-step CP approach in a single step. By evaluating and penalising deviations from the stringent expected CP output distribution, a Deep Learning model may learn the direct relationship between the input data and the conformal p-values. We carry out a comprehensive empirical evaluation to show our novel loss function’s competitiveness for seven binary and multi-class prediction tasks on five benchmark datasets. On the same datasets, our approach achieves significant training time reductions up to 86% compared to Aggregated Conformal Prediction (ACP), while maintaining comparable approximate validity and predictive efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google