Leveraging Intermediate Representations for Better Out-of-Distribution Detection

要約

実際のアプリケーションでは、機械学習モデルは、危険な決定を防ぐために、分散除外（OOD）サンプルを確実に検出する必要があります。
現在のOOD検出方法は、多くの場合、ニューラルネットワークの最後から2番目の層のロジットまたは埋め込みの分析に依存しています。
ただし、中間層でエンコードされた豊富な情報の搾取に関する作業はほとんど行われていません。
これに対処するために、中間層の識別力を分析し、それらがOOD検出に積極的に使用できることを示します。
したがって、エネルギーベースのコントラスト損失で中間層を正規化し、複数の層を単一の集計応答でグループ化することを提案します。
中間層の活性化により、複数のデータセットで包括的な評価を実行することにより、OOD検出パフォーマンスが向上することを実証します。

要約(オリジナル)

In real-world applications, machine learning models must reliably detect Out-of-Distribution (OoD) samples to prevent unsafe decisions. Current OoD detection methods often rely on analyzing the logits or the embeddings of the penultimate layer of a neural network. However, little work has been conducted on the exploitation of the rich information encoded in intermediate layers. To address this, we analyze the discriminative power of intermediate layers and show that they can positively be used for OoD detection. Therefore, we propose to regularize intermediate layers with an energy-based contrastive loss, and by grouping multiple layers in a single aggregated response. We demonstrate that intermediate layer activations improves OoD detection performance by running a comprehensive evaluation across multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google