Empirically Validating Conformal Prediction on Modern Vision Architectures Under Distribution Shift and Long-tailed Data

要約

等角予測は、信頼性の高い不確実性の推定と安全性の保証を備えた深層学習モデルを提供する厳密な手段として登場しました。
しかし、そのパフォーマンスは、実際のアプリケーションでよく見られる分布シフトやロングテールクラス分布の下では低下することが知られています。
ここでは、これらの設定下でのいくつかのポストホックおよびトレーニングベースの等角予測法のパフォーマンスを特徴付け、大規模なデータセットとモデルに対する最初の経験的評価を提供します。
我々は、多数のコンフォーマル手法とニューラルネットワークファミリーにわたって、安全性の保証に違反する分布の変更下ではパフォーマンスが大幅に低下することを示します。
同様に、ロングテール設定では、多くのクラスで保証が頻繁に違反されることを示します。
これらの方法の制限を理解することは、現実世界や安全性が重要なアプリケーションに導入するために必要です。

要約(オリジナル)

Conformal prediction has emerged as a rigorous means of providing deep learning models with reliable uncertainty estimates and safety guarantees. Yet, its performance is known to degrade under distribution shift and long-tailed class distributions, which are often present in real world applications. Here, we characterize the performance of several post-hoc and training-based conformal prediction methods under these settings, providing the first empirical evaluation on large-scale datasets and models. We show that across numerous conformal methods and neural network families, performance greatly degrades under distribution shifts violating safety guarantees. Similarly, we show that in long-tailed settings the guarantees are frequently violated on many classes. Understanding the limitations of these methods is necessary for deployment in real world and safety-critical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google