Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations

要約

不確実性の推定は、トレーニングされたディープ ニューラル ネットワークの信頼性を評価することを目的としています。
ただし、既存の不確実性推定アプローチは低次元の分布仮定に依存しているため、潜在的な特徴の高次元性が問題となります。
既存のアプローチは、離散分類確率の不確実性に焦点を当てる傾向があり、他のタスクの不確実性推定に対する一般化が困難になります。
さらに、ほとんどの文献では、不確実性をより適切に推定するためにトレーニングで分布外 (OOD) データを確認する必要がありますが、OOD データは通常目に見えないため、実際には不確実性推定のパフォーマンスが制限されます。
これらの制限を克服するために、特徴表現の統計的特性を活用する、不確実性推定のためのデータ適応型高次元仮説検定を使用する新しいフレームワークを提案します。
私たちの方法は潜在表現に直接作用するため、変更された目的の下で特徴エンコーダーを再トレーニングする必要はありません。
検定統計量は特徴分布の仮定を高次元まで緩和し、潜在表現の不確実性をより識別します。
ベイジアン ニューラル ネットワークを使用したエンコード機能がテストのパフォーマンスを向上させ、より正確な不確実性推定につながることを実証します。
さらに、誤検出率 (FDR) を最小限に抑える、OOD 検出の最適なしきい値を決定するためのファミリーワイズ テスト手順を導入します。
広範な実験により、さまざまな競合他社に対する不確実性の推定とタスク固有の予測に関する当社のフレームワークの満足のいくパフォーマンスが検証されています。
OOD 検出タスクの実験では、トレーニングで OOD データが見られない場合でも、私たちの方法の満足のいくパフォーマンスが示されています。
コードは https://github.com/HKU-MedAI/bnn_uncertainty で入手できます。

要約(オリジナル)

Uncertainty estimation aims to evaluate the confidence of a trained deep neural network. However, existing uncertainty estimation approaches rely on low-dimensional distributional assumptions and thus suffer from the high dimensionality of latent features. Existing approaches tend to focus on uncertainty on discrete classification probabilities, which leads to poor generalizability to uncertainty estimation for other tasks. Moreover, most of the literature requires seeing the out-of-distribution (OOD) data in the training for better estimation of uncertainty, which limits the uncertainty estimation performance in practice because the OOD data are typically unseen. To overcome these limitations, we propose a new framework using data-adaptive high-dimensional hypothesis testing for uncertainty estimation, which leverages the statistical properties of the feature representations. Our method directly operates on latent representations and thus does not require retraining the feature encoder under a modified objective. The test statistic relaxes the feature distribution assumptions to high dimensionality, and it is more discriminative to uncertainties in the latent representations. We demonstrate that encoding features with Bayesian neural networks can enhance testing performance and lead to more accurate uncertainty estimation. We further introduce a family-wise testing procedure to determine the optimal threshold of OOD detection, which minimizes the false discovery rate (FDR). Extensive experiments validate the satisfactory performance of our framework on uncertainty estimation and task-specific prediction over a variety of competitors. The experiments on the OOD detection task also show satisfactory performance of our method when the OOD data are unseen in the training. Codes are available at https://github.com/HKU-MedAI/bnn_uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google