Detection of out-of-distribution samples using binary neuron activation patterns

要約

ディープ ニューラル ネットワーク (DNN) は、さまざまなアプリケーションで優れたパフォーマンスを発揮します。
研究コミュニティの多くの努力にもかかわらず、分布外 (OOD) サンプルは、DNN 分類子の重大な制限のままです。
自動運転車、無人航空機、ロボットなどの安全性が重要なアプリケーションでは、これまでに見られなかった入力を新規のものとして識別する機能が重要です。
OOD サンプルを検出する既存のアプローチは、DNN をブラック ボックスとして扱い、出力予測の信頼スコアを評価します。
残念ながら、この方法は失敗することがよくあります。これは、DNN が OOD 入力の信頼性を低下させるようにトレーニングされていないためです。
この作業では、OOD 検出のための新しい方法を紹介します。
私たちの方法は、ReLU ベースのアーキテクチャにおけるニューロン活性化パターン (NAP) の理論的分析によって動機付けられています。
提案された方法は、畳み込み層から抽出された活性化パターンのバイナリ表現による高い計算オーバーヘッドを導入しません。
広範な経験的評価により、さまざまな DNN アーキテクチャと 7 つの画像データセットでの高いパフォーマンスが証明されています。

要約(オリジナル)

Deep neural networks (DNN) have outstanding performance in various applications. Despite numerous efforts of the research community, out-of-distribution (OOD) samples remain a significant limitation of DNN classifiers. The ability to identify previously unseen inputs as novel is crucial in safety-critical applications such as self-driving cars, unmanned aerial vehicles, and robots. Existing approaches to detect OOD samples treat a DNN as a black box and evaluate the confidence score of the output predictions. Unfortunately, this method frequently fails, because DNNs are not trained to reduce their confidence for OOD inputs. In this work, we introduce a novel method for OOD detection. Our method is motivated by theoretical analysis of neuron activation patterns (NAP) in ReLU-based architectures. The proposed method does not introduce a high computational overhead due to the binary representation of the activation patterns extracted from convolutional layers. The extensive empirical evaluation proves its high performance on various DNN architectures and seven image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google