Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization

要約

外れ値検出タスクは、AI の安全性において重要な役割を果たしてきました。
このタスクに対処するには大きな課題がありました。
観測によると、ディープ ニューラル ネットワーク分類器は通常、分布外 (OOD) の入力を分布内のクラスに高い信頼度で誤って分類する傾向があります。
既存の研究では、トレーニング中に OOD 入力が分類器にさらされたときに、分類器に明示的に不確実性を課すことによって問題を解決しようとしています。
この論文では、OOD 検出タスクに実用的で理論的に実行可能な代替確率パラダイムを提案します。
特に、トレーニング中にインライア データが OOD データに関する情報をほとんど明らかにしないようにするために、トレーニング中にインライア データとアウトライア データの間に統計的独立性を課します。
具体的には、Hilbert-Schmidt Independence Criterion (HSIC) を使用してインライア データとアウトライア データの間の統計的依存関係を推定し、トレーニング中にそのようなメトリックにペナルティを課します。
また、私たちのアプローチを、原則的な動機と組み合わせた推論時間中の新しい統計テストと関連付けます。
実験結果は、私たちの方法がさまざまなベンチマークでの OOD 検出に効果的で堅牢であることを示しています。
SOTA モデルと比較して、私たちのアプローチは FPR95、AUROC、および AUPR メトリックに関して大幅な改善を達成しています。
コードは、\url{https://github.com/jylins/hood} で入手できます。

要約(オリジナル)

Outlier detection tasks have been playing a critical role in AI safety. There has been a great challenge to deal with this task. Observations show that deep neural network classifiers usually tend to incorrectly classify out-of-distribution (OOD) inputs into in-distribution classes with high confidence. Existing works attempt to solve the problem by explicitly imposing uncertainty on classifiers when OOD inputs are exposed to the classifier during training. In this paper, we propose an alternative probabilistic paradigm that is both practically useful and theoretically viable for the OOD detection tasks. Particularly, we impose statistical independence between inlier and outlier data during training, in order to ensure that inlier data reveals little information about OOD data to the deep estimator during training. Specifically, we estimate the statistical dependence between inlier and outlier data through the Hilbert-Schmidt Independence Criterion (HSIC), and we penalize such metric during training. We also associate our approach with a novel statistical test during the inference time coupled with our principled motivation. Empirical results show that our method is effective and robust for OOD detection on various benchmarks. In comparison to SOTA models, our approach achieves significant improvement regarding FPR95, AUROC, and AUPR metrics. Code is available: \url{https://github.com/jylins/hood}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google