Conformal Risk Minimization with Variance Reduction

要約

コンフォーマル予測（CP）は、ブラックボックスモデルで確率的保証を達成するための分布フリーフレームワークです。
CPは通常、トレーニング後のモデルに適用されます。
一方、最近の研究では、トレーニング中のCP効率の最適化に焦点を当てています。
この概念を、コンフォーマルリスク最小化（CRM）の問題として形式化します。
この方向では、Stutz et al。（2022）によるコンフォーマルトレーニング（Conptr）は、トレーニングの更新の間でCPをシミュレートすることにより、モデルの予想される予測セットサイズを最小限に抑えようとする手法です。
その可能性にもかかわらず、私たちは、過度にうるさく推定された勾配につながり、トレーニングの不安定性を導入し、実用的な使用を制限する、conptrのサンプルの非効率性の強力なソースを特定します。
この課題に対処するために、conptrの目的関数の勾配推定に分散削減手法を組み込んだCRMメソッドである分散還元コンフォーマルトレーニング（VR-CONFTR）を提案します。
さまざまなベンチマークデータセットでの広範な実験を通じて、VR-CONFTRがベースラインと比較してより速い収束とより小さな予測セットを常に達成することを実証します。

要約(オリジナル)

Conformal prediction (CP) is a distribution-free framework for achieving probabilistic guarantees on black-box models. CP is generally applied to a model post-training. Recent research efforts, on the other hand, have focused on optimizing CP efficiency during training. We formalize this concept as the problem of conformal risk minimization (CRM). In this direction, conformal training (ConfTr) by Stutz et al.(2022) is a technique that seeks to minimize the expected prediction set size of a model by simulating CP in-between training updates. Despite its potential, we identify a strong source of sample inefficiency in ConfTr that leads to overly noisy estimated gradients, introducing training instability and limiting practical use. To address this challenge, we propose variance-reduced conformal training (VR-ConfTr), a CRM method that incorporates a variance reduction technique in the gradient estimation of the ConfTr objective function. Through extensive experiments on various benchmark datasets, we demonstrate that VR-ConfTr consistently achieves faster convergence and smaller prediction sets compared to baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google