Deep Discriminative to Kernel Density Graph for In- and Out-of-distribution Calibrated Inference

要約

ランダム フォレストやディープ ニューラル ネットワークなどの深層識別アプローチは、最近、多くの重要な現実世界のシナリオで応用できるようになりました。
ただし、これらの学習アルゴリズムをセーフティ クリティカルなアプリケーションに導入すると、特に配信内と配信外の両方のデータ ポイントの信頼度調整を確実にする場合に懸念が生じます。
等張回帰やプラットのシグモイド回帰など、分布内 (ID) キャリブレーションの多くの一般的な方法は、優れた ID キャリブレーション パフォーマンスを示します。
ただし、これらの方法は特徴空間全体に対して調整されていないため、分布外 (OOD) サンプルの場合は過信につながります。
一方、既存の配布外 (OOD) キャリブレーション方法は一般に、配布内 (ID) キャリブレーションが不十分です。
このペーパーでは、ID と OOD のキャリブレーション問題を一緒に扱います。
私たちは、ランダム フォレストとディープ ネットの両方を含むディープ モデルが、アフィン活性化関数を備えたポリトープの結合である内部表現を学習して、両方を特徴空間の分割ルールとして概念化するという事実を利用しました。
トレーニング データによって設定された各ポリトープのアフィン関数をガウス カーネルに置き換えます。
表形式ベンチマークと視覚ベンチマークの両方に関する実験では、提案されたアプローチが、ID 領域の元のアルゴリズムの分類精度をほぼ維持または向上させながら、適切に校正された事後値を取得し、トレーニング データを超えて外挿して OOD 入力を適切に処理できることを示しています。

要約(オリジナル)

Deep discriminative approaches like random forests and deep neural networks have recently found applications in many important real-world scenarios. However, deploying these learning algorithms in safety-critical applications raises concerns, particularly when it comes to ensuring confidence calibration for both in-distribution and out-of-distribution data points. Many popular methods for in-distribution (ID) calibration, such as isotonic and Platt’s sigmoidal regression, exhibit excellent ID calibration performance. However, these methods are not calibrated for the entire feature space, leading to overconfidence in the case of out-of-distribution (OOD) samples. On the other end of the spectrum, existing out-of-distribution (OOD) calibration methods generally exhibit poor in-distribution (ID) calibration. In this paper, we address ID and OOD calibration problems jointly. We leveraged the fact that deep models, including both random forests and deep-nets, learn internal representations which are unions of polytopes with affine activation functions to conceptualize them both as partitioning rules of the feature space. We replace the affine function in each polytope populated by the training data with a Gaussian kernel. Our experiments on both tabular and vision benchmarks show that the proposed approaches obtain well-calibrated posteriors while mostly preserving or improving the classification accuracy of the original algorithm for ID region, and extrapolate beyond the training data to handle OOD inputs appropriately.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google