Approximating Full Conformal Prediction at Scale via Influence Functions

要約

Conformal Prediction (CP) は、従来の機械学習モデルのラッパーであり、交換可能性のみを前提としてカバレッジを保証します。
分類問題では、選択された有意水準 $\varepsilon$ に対して、基になるモデルが誤って指定されているかどうかに関係なく、CP はエラー率が最大 $\varepsilon$ であることを保証します。
ただし、「フル」CP の法外な計算コストにより、研究者はスケーラブルな代替案を設計するようになりましたが、残念ながらフル CP と同じ保証や統計的検出力は得られません。
このホワイト ペーパーでは、影響関数を使用してフル CP を効率的に概算します。
私たちの方法が完全なCPの一貫した近似であることを証明し、トレーニングセットが増加するにつれて近似誤差が小さくなることを経験的に示します。
たとえば、$10^{3}$ トレーニング ポイントの場合、2 つのメソッドは $<10^{-3}$ 離れた p 値を出力します。実際のアプリケーションでは無視できるエラーです。 私たちの方法は、フル CP を大規模な実世界のデータセットにスケーリングすることを可能にします。 完全な CP 近似 (ACP) を主流の CP の代替と比較し、完全な CP の統計的予測力を享受しながら、計算上競争力があることを観察します。

要約(オリジナル)

Conformal prediction (CP) is a wrapper around traditional machine learning models, giving coverage guarantees under the sole assumption of exchangeability; in classification problems, for a chosen significance level $\varepsilon$, CP guarantees that the error rate is at most $\varepsilon$, irrespective of whether the underlying model is misspecified. However, the prohibitive computational costs of ‘full’ CP led researchers to design scalable alternatives, which alas do not attain the same guarantees or statistical power of full CP. In this paper, we use influence functions to efficiently approximate full CP. We prove that our method is a consistent approximation of full CP, and empirically show that the approximation error becomes smaller as the training set increases; e.g., for $10^{3}$ training points the two methods output p-values that are $<10^{-3}$ apart: a negligible error for any practical application. Our methods enable scaling full CP to large real-world datasets. We compare our full CP approximation (ACP) to mainstream CP alternatives, and observe that our method is computationally competitive whilst enjoying the statistical predictive power of full CP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google