Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection

要約

データの不均衡と欠陥の多様性のため、学生教師ネットワーク (S-T) は、異常を認識するための知識蒸留プロセスから得られる特徴表現の不一致を調査する教師なし異常検出に好まれます。
ただし、バニラの S-T ネットワークは安定していません。
S-T ネットワークを構築するために同一の構造を採用すると、異常の代表的な不一致が弱まる可能性があります。
ただし、異なる構造を使用すると、通常のデータでパフォーマンスが異なる可能性が高くなります。
この問題に対処するために、新しいデュアルスチューデント知識蒸留 (DSKD) アーキテクチャを提案します。
他の S-T ネットワークとは異なり、2 つの生徒ネットワークと 1 つの事前トレーニング済み教師ネットワークを使用します。生徒の規模は同じですが、構造が逆になっています。
このフレームワークは、蒸留効果を強化して正常データの認識の一貫性を向上させると同時に、異常表現の多様性を導入することができます。
高次元の意味情報を探索して異常の手がかりを捕捉するために、私たちは 2 つの戦略を採用します。
まず、ピラミッド マッチング モードを使用して、ネットワークの中間層のマルチスケール特徴マップに対して知識の蒸留を実行します。
第 2 に、現実世界のグループ ディスカッションからインスピレーションを得た、深い機能埋め込みモジュールを通じて 2 つの学生ネットワーク間の対話が促進されます。
分類に関しては、教師ネットワークと生徒ネットワークの出力特徴マップ間の不一致を測定することでピクセル単位の異常セグメンテーション マップを取得し、そこからサンプル単位の判定のための異常スコアが計算されます。
3 つのベンチマーク データセットで DSKD を評価し、アブレーション実験を通じて内部モジュールの効果を調査します。
結果は、DSKD が ResNet18 のような小規模モデルで優れたパフォーマンスを達成し、バニラ S-T ネットワークを効果的に改善できることを示しています。

要約(オリジナル)

Due to the data imbalance and the diversity of defects, student-teacher networks (S-T) are favored in unsupervised anomaly detection, which explores the discrepancy in feature representation derived from the knowledge distillation process to recognize anomalies. However, vanilla S-T network is not stable. Employing identical structures to construct the S-T network may weaken the representative discrepancy on anomalies. But using different structures can increase the likelihood of divergent performance on normal data. To address this problem, we propose a novel dual-student knowledge distillation (DSKD) architecture. Different from other S-T networks, we use two student networks a single pre-trained teacher network, where the students have the same scale but inverted structures. This framework can enhance the distillation effect to improve the consistency in recognition of normal data, and simultaneously introduce diversity for anomaly representation. To explore high-dimensional semantic information to capture anomaly clues, we employ two strategies. First, a pyramid matching mode is used to perform knowledge distillation on multi-scale feature maps in the intermediate layers of networks. Second, an interaction is facilitated between the two student networks through a deep feature embedding module, which is inspired by real-world group discussions. In terms of classification, we obtain pixel-wise anomaly segmentation maps by measuring the discrepancy between the output feature maps of the teacher and student networks, from which an anomaly score is computed for sample-wise determination. We evaluate DSKD on three benchmark datasets and probe the effects of internal modules through ablation experiments. The results demonstrate that DSKD can achieve exceptional performance on small models like ResNet18 and effectively improve vanilla S-T networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google