Provably Robust Conformal Prediction with Improved Efficiency

要約

等角予測は、トレーニング データとテスト データが i.i.d. であるという前提の下で、任意の予測モデルを使用してカバレッジが保証された不確実性セットを生成する強力なツールです。 最近、敵対的な例が等角手法を操作して予測セットを構築できることが示されました。
i.i.d. として無効なカバレッジ率。
仮定が破られています。
この問題に対処するために、敵対的ノイズに対する等角予測法の堅牢性を証明するために、最近の研究であるランダム化平滑化等角予測 (RSCP) が最初に提案されました。
ただし、RSCP には 2 つの大きな制限があります。(i) 実際に使用すると堅牢性の保証に欠陥があること、および (ii) 大きな不確実性セットが生成される傾向があることです。
これらの制限に対処するために、最初に、評価における証明可能な堅牢性保証を提供する RSCP+ と呼ばれる新しいフレームワークを提案します。これにより、元の RSCP 手法の問題が修正されます。
次に、わずかな計算オーバーヘッドで予測セットのサイズを効果的に削減する、トレーニング後変換 (PTT) とロバスト等形式トレーニング (RCT) という 2 つの新しい方法を提案します。
CIFAR10、CIFAR100、ImageNet での実験結果は、ベースライン手法では完全なラベル セットを含む簡単な予測しか得られないことを示唆していますが、私たちの手法では効率をそれぞれ最大 $4.36\times$、$5.46\times$、$16.9\times$ 向上させることができ、
実用的な堅牢性を保証します。
私たちのコードは https://github.com/Trustworthy-ML-Lab/Provively-Robust-Conformal-Prediction で入手できます。

要約(オリジナル)

Conformal prediction is a powerful tool to generate uncertainty sets with guaranteed coverage using any predictive model, under the assumption that the training and test data are i.i.d.. Recently, it has been shown that adversarial examples are able to manipulate conformal methods to construct prediction sets with invalid coverage rates, as the i.i.d. assumption is violated. To address this issue, a recent work, Randomized Smoothed Conformal Prediction (RSCP), was first proposed to certify the robustness of conformal prediction methods to adversarial noise. However, RSCP has two major limitations: (i) its robustness guarantee is flawed when used in practice and (ii) it tends to produce large uncertainty sets. To address these limitations, we first propose a novel framework called RSCP+ to provide provable robustness guarantee in evaluation, which fixes the issues in the original RSCP method. Next, we propose two novel methods, Post-Training Transformation (PTT) and Robust Conformal Training (RCT), to effectively reduce prediction set size with little computation overhead. Experimental results in CIFAR10, CIFAR100, and ImageNet suggest the baseline method only yields trivial predictions including full label set, while our methods could boost the efficiency by up to $4.36\times$, $5.46\times$, and $16.9\times$ respectively and provide practical robustness guarantee. Our codes are available at https://github.com/Trustworthy-ML-Lab/Provably-Robust-Conformal-Prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google