Sparse Activations as Conformal Predictors

要約

コンフォーマル予測は、ポイント予測をセットに置き換える不確実性の定量化のための分布フリーフレームワークであり、限界カバレッジ保証を提供します（つまり、予測セットに、予想される確率で真のラベルが含まれるようにします）。
この論文では、sparsemaxや$ \ gamma $ -entmax（$ \ gamma> 1 $を含む）など、コンフォーマル予測とスパースソフトマックスのような変換の間の新しいつながりを明らかにします。
。
広く使用されている温度スケーリング法に対応するキャリブレーションプロセスを作成する分類のために、新しい不適合スコアを導入します。
テスト時に、較正された温度でこれらのスパース変換を適用すると、サポートセット（つまり、非ゼロ確率のあるラベルのセット）につながり、コンフォーマル予測のカバレッジ保証を自動的に継承します。
コンピュータービジョンとテキスト分類ベンチマークに関する実験を通じて、提案された方法は、SoftMaxに基づく標準的な不適合スコアと比較して、カバレッジ、効率、および適応性の観点から競争力のある結果を達成することを実証します。

要約(オリジナル)

Conformal prediction is a distribution-free framework for uncertainty quantification that replaces point predictions with sets, offering marginal coverage guarantees (i.e., ensuring that the prediction sets contain the true label with a specified probability, in expectation). In this paper, we uncover a novel connection between conformal prediction and sparse softmax-like transformations, such as sparsemax and $\gamma$-entmax (with $\gamma > 1$), which may assign nonzero probability only to a subset of labels. We introduce new non-conformity scores for classification that make the calibration process correspond to the widely used temperature scaling method. At test time, applying these sparse transformations with the calibrated temperature leads to a support set (i.e., the set of labels with nonzero probability) that automatically inherits the coverage guarantees of conformal prediction. Through experiments on computer vision and text classification benchmarks, we demonstrate that the proposed method achieves competitive results in terms of coverage, efficiency, and adaptiveness compared to standard non-conformity scores based on softmax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google