Deep Discriminative to Kernel Density Graph for In- and Out-of-distribution Calibrated Inference

要約

ランダム フォレストやディープ ニューラル ネットワークなどの深層識別アプローチは、最近、多くの重要な現実世界のシナリオで応用できるようになりました。
ただし、これらの学習アルゴリズムをセーフティ クリティカルなアプリケーションに導入すると、特に配信内と配信外の両方のデータ ポイントの信頼度調整を確実にする場合に懸念が生じます。
等張回帰やプラットのシグモイド回帰など、分布内 (ID) キャリブレーションの多くの一般的な方法は、優れた ID キャリブレーション パフォーマンスを示します。
ただし、これらの方法は特徴空間全体に対して調整されていないため、分布外 (OOD) サンプルの場合は過信につながります。
一方、既存の配布外 (OOD) キャリブレーション方法は一般に、配布内 (ID) キャリブレーションが不十分です。
このペーパーでは、ID と OOD のキャリブレーション問題を一緒に扱います。
私たちは、ランダム フォレストとディープ ネットの両方を含むディープ モデルが、アフィン活性化関数を備えたポリトープの結合である内部表現を学習して、両方を特徴空間の分割ルールとして概念化するという事実を利用しました。
トレーニング データによって設定された各ポリトープのアフィン関数をガウス カーネルに置き換えます。
私たちの提案する方法が、対応するクラスの条件付き密度の一貫した推定量となるための十分な条件を提案します。
さらに、表形式ベンチマークとビジョンベンチマークの両方での実験では、提案されたアプローチが、分布内領域に対する元のアルゴリズムの分類精度をほぼ維持または向上させながら、適切に校正された事後値を取得し、分布外領域を処理するためにトレーニングデータを超えて外挿することを示しています。
適切に分配入力を行います。

要約(オリジナル)

Deep discriminative approaches like random forests and deep neural networks have recently found applications in many important real-world scenarios. However, deploying these learning algorithms in safety-critical applications raises concerns, particularly when it comes to ensuring confidence calibration for both in-distribution and out-of-distribution data points. Many popular methods for in-distribution (ID) calibration, such as isotonic regression and Platt’s sigmoidal regression, exhibit excellent ID calibration performance. However, these methods are not calibrated for the entire feature space, leading to overconfidence in the case of out-of-distribution (OOD) samples. On the other end of the spectrum, existing out-of-distribution (OOD) calibration methods generally exhibit poor in-distribution (ID) calibration. In this paper, we address ID and OOD calibration problems jointly. We leveraged the fact that deep models, including both random forests and deep-nets, learn internal representations which are unions of polytopes with affine activation functions to conceptualize them both as partitioning rules of the feature space. We replace the affine function in each polytope populated by the training data with a Gaussian kernel. We propose sufficient conditions for our proposed methods to be consistent estimators of the corresponding class conditional densities. Moreover, our experiments on both tabular and vision benchmarks show that the proposed approaches obtain well-calibrated posteriors while mostly preserving or improving the classification accuracy of the original algorithm for in-distribution region, and extrapolates beyond the training data to handle out-of-distribution inputs appropriately.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google