Towards In-distribution Compatibility in Out-of-distribution Detection

要約

ディープ ニューラル ネットワークは、対象となる分布内のサンプルを識別するという優れた機能にもかかわらず、異常な分布外データの検出ではパフォーマンスが低下します。
この欠陥に対処するために、最先端のソリューションでは、外れ値の補助データセットでディープ ネットワークをトレーニングすることを選択しています。
これらの補助外れ値のさまざまなトレーニング基準は、ヒューリスティックな直感に基づいて提案されています。
ただし、これらの直感的に設計された外れ値トレーニング基準は、分散学習に悪影響を及ぼし、最終的にパフォーマンスの低下につながる可能性があることがわかりました。
この目的のために、分布内の非互換性の3つの原因を特定します。矛盾する勾配、偽の尤度、および分布シフトです。
私たちの新しい理解に基づいて、ディープモデルのトップデザインと損失関数の両方を適応させることにより、新しい分布外検出方法を提案します。
本手法は、分布内特徴の確率的特性との干渉を少なくすることにより、分布内互換性を実現します。
いくつかのベンチマークで、私たちの方法は、最先端の分布外検出性能を達成するだけでなく、分布内精度も向上させます。

要約(オリジナル)

Deep neural network, despite its remarkable capability of discriminating targeted in-distribution samples, shows poor performance on detecting anomalous out-of-distribution data. To address this defect, state-of-the-art solutions choose to train deep networks on an auxiliary dataset of outliers. Various training criteria for these auxiliary outliers are proposed based on heuristic intuitions. However, we find that these intuitively designed outlier training criteria can hurt in-distribution learning and eventually lead to inferior performance. To this end, we identify three causes of the in-distribution incompatibility: contradictory gradient, false likelihood, and distribution shift. Based on our new understandings, we propose a new out-of-distribution detection method by adapting both the top-design of deep models and the loss function. Our method achieves in-distribution compatibility by pursuing less interference with the probabilistic characteristic of in-distribution features. On several benchmarks, our method not only achieves the state-of-the-art out-of-distribution detection performance but also improves the in-distribution accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google