TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation

要約

信頼できる不確実性推定方法は、オープンワールドの深い学習モデルの安全な展開に不可欠な多くの最新の分散（OOD）検出器の基礎です。
この作業では、OOD検出の理論的に駆動される事後不確実性推定器であるチューリップを提案します。
私たちのアプローチは、収束前にネットワークに適用される仮想的な摂動を考慮します。
線形化されたトレーニングのダイナミクスに基づいて、このような摂動の効果をバウンドし、摂動モデルパラメーターによって計算可能な不確実性スコアをもたらします。
最終的に、私たちのアプローチは、サンプリングされた予測のセットから不確実性を計算します。
合成回帰データセットと分類データセットのバウンドを視覚化します。
さらに、画像分類のために大規模なOOD検出ベンチマークを使用してチューリップの有効性を示します。
私たちの方法は、特に分散近くのサンプルの場合、最先端のパフォーマンスを示しています。

要約(オリジナル)

A reliable uncertainty estimation method is the foundation of many modern out-of-distribution (OOD) detectors, which are critical for safe deployments of deep learning models in the open world. In this work, we propose TULiP, a theoretically-driven post-hoc uncertainty estimator for OOD detection. Our approach considers a hypothetical perturbation applied to the network before convergence. Based on linearized training dynamics, we bound the effect of such perturbation, resulting in an uncertainty score computable by perturbing model parameters. Ultimately, our approach computes uncertainty from a set of sampled predictions. We visualize our bound on synthetic regression and classification datasets. Furthermore, we demonstrate the effectiveness of TULiP using large-scale OOD detection benchmarks for image classification. Our method exhibits state-of-the-art performance, particularly for near-distribution samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google