Interpreting deep learning output for out-of-distribution detection

要約

よく使われるAIネットワークは、ある判断の根拠が疑わしい場合でも、その予測に非常に自信を持つ。深層学習モデルの出力を調査することは、その決定プロセスを理解し、その能力と限界を評価するために極めて重要である。ネットワークの生出力ベクトルの分布を分析すると、各クラスが独自の判断境界を持ち、その結果、同じ生出力値でもクラスによって異なる支持を持つことが観察されます。この事実に着想を得て、我々は分布外検出のための新しい手法を開発した。この方法は、ソフトマックス出力の単純な閾値処理を超えて、モデルの学習過程とその出力の理解・解釈に向けた説明的なステップを提供するものである。ネットワークに提示された各新サンプルに最も高いロジットのクラスラベルを割り当てる代わりに、全てのクラスに対する分布を考慮する。確率スコアインタプリタ(PSI)は、それぞれの正しいクラスと間違ったクラスの分布に関連するジョイントロジット値に基づいて作成される。PSIは、サンプルが特定のクラスに属する可能性が高いか、ネットワークが不確かであるか、サンプルがネットワークにとって外れ値または未知のタイプである可能性が高いかを示唆する。単純なPSIには、すでに訓練されたネットワークに適用できるという利点がある。各出力ノードの正しいクラスと間違ったクラスの分布は、学習済みネットワークに学習例を通すだけで確立される。我々は、困難な透過型電子顕微鏡ウイルス画像データセットに対して、我々のOOD検出方法を実証する。我々は、訓練されたウイルス分類器にとって未知のウイルスタイプの画像でありながら、同じ手順と装置で取得されたOODサンプルを構成する実世界のアプリケーションをシミュレートする。

要約(オリジナル)

Commonly used AI networks are very self-confident in their predictions, even when the evidence for a certain decision is dubious. The investigation of a deep learning model output is pivotal for understanding its decision processes and assessing its capabilities and limitations. By analyzing the distributions of raw network output vectors, it can be observed that each class has its own decision boundary and, thus, the same raw output value has different support for different classes. Inspired by this fact, we have developed a new method for out-of-distribution detection. The method offers an explanatory step beyond simple thresholding of the softmax output towards understanding and interpretation of the model learning process and its output. Instead of assigning the class label of the highest logit to each new sample presented to the network, it takes the distributions over all classes into consideration. A probability score interpreter (PSI) is created based on the joint logit values in relation to their respective correct vs wrong class distributions. The PSI suggests whether the sample is likely to belong to a specific class, whether the network is unsure, or whether the sample is likely an outlier or unknown type for the network. The simple PSI has the benefit of being applicable on already trained networks. The distributions for correct vs wrong class for each output node are established by simply running the training examples through the trained network. We demonstrate our OOD detection method on a challenging transmission electron microscopy virus image dataset. We simulate a real-world application in which images of virus types unknown to a trained virus classifier, yet acquired with the same procedures and instruments, constitute the OOD samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL