Robust Uncertainty Quantification using Conformalised Monte Carlo Prediction

要約

セーフティ クリティカルなアプリケーションにディープ ラーニング モデルを導入することは依然として非常に困難な作業であり、これらのモデルの信頼できる動作に対する保証を提供することが義務付けられています。
不確実性定量化 (UQ) 手法は、予測ごとにモデルの信頼度を推定し、ランダム性やモデルの仕様ミスの影響を考慮して意思決定に情報を提供します。
最先端の UQ メソッドは進歩しているにもかかわらず、計算コストが高かったり、生成される予測セットや予測間隔が保守的であったりします。
新しい適応モンテカルロ (MC) ドロップアウト法と等角予測 (CP) を組み合わせた新しいハイブリッド UQ 法である MC-CP を紹介します。
MC-CP は、実行時に従来の MC ドロップアウトを適応的に調整してメモリと計算リソースを節約し、CP による予測の利用を可能にして、堅牢な予測セット/間隔を生成します。
包括的な実験を通じて、MC-CP が分類ベンチマークと回帰ベンチマークの両方において、MC ドロップアウト、RAPS、CQR などの高度な UQ 手法に比べて大幅な改善をもたらすことを示しました。
MC-CP は既存のモデルに簡単に追加できるため、導入が簡単になります。

要約(オリジナル)

Deploying deep learning models in safety-critical applications remains a very challenging task, mandating the provision of assurances for the dependable operation of these models. Uncertainty quantification (UQ) methods estimate the model’s confidence per prediction, informing decision-making by considering the effect of randomness and model misspecification. Despite the advances of state-of-the-art UQ methods, they are computationally expensive or produce conservative prediction sets/intervals. We introduce MC-CP, a novel hybrid UQ method that combines a new adaptive Monte Carlo (MC) dropout method with conformal prediction (CP). MC-CP adaptively modulates the traditional MC dropout at runtime to save memory and computation resources, enabling predictions to be consumed by CP, yielding robust prediction sets/intervals. Throughout comprehensive experiments, we show that MC-CP delivers significant improvements over advanced UQ methods, like MC dropout, RAPS and CQR, both in classification and regression benchmarks. MC-CP can be easily added to existing models, making its deployment simple.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google