Dual-Modeling Decouple Distillation for Unsupervised Anomaly Detection

要約

生徒と教師のネットワークに基づく知識の蒸留は、困難な教師なし異常検出タスクに対する主流のソリューション パラダイムの 1 つであり、教師と生徒のネットワークの表現能力の違いを利用して異常位置特定を実装します。
ただし、生徒のネットワークを教師のネットワークに過度に一般化すると、異常の表現能力に無視できるほどの差が生じ、検出の有効性に影響を与える可能性があります。
既存の方法では、構造的な観点から差別化された生徒や教師を使用したり、コンテンツの観点から抽出された情報を明示的に拡張したりすることで、過剰な一般化の可能性に対処しています。その結果、必然的に生徒ネットワークの適合が不十分になる可能性が高まり、異常センターや異常センターでの異常検出能力が低下します。
角。
この論文では、教師なし異常検出のためのデュアルモデリング分離蒸留 (DMDD) を提案します。
DMDD では、初期の生徒の特徴を正常な特徴と異常な特徴に分離するために、生徒と教師の分離ネットワークが提案されています。
さらに、正常画像と異常画像のペアに基づいたデュアルモデリング蒸留を導入し、異常画像の正常性特徴と対応する正常画像の教師特徴をフィッティングし、異常領域における異常特徴と教師特徴の間の距離を広げます。
これら 2 つの蒸留アイデアを統合することで、異常のエッジと中心の両方に焦点を当てた異常検出を実現します。
最後に、複数の注意に基づいて焦点を絞った異常マップの融合を実現するために、複数の知覚セグメンテーション ネットワークが提案されています。
MVTec AD の実験結果は、DMDD が以前の知識蒸留ベースの手法の SOTA 位置特定パフォーマンスを上回り、ピクセルレベルの AUC で 98.85%、PRO で 96.13% に達することを示しています。

要約(オリジナル)

Knowledge distillation based on student-teacher network is one of the mainstream solution paradigms for the challenging unsupervised Anomaly Detection task, utilizing the difference in representation capabilities of the teacher and student networks to implement anomaly localization. However, over-generalization of the student network to the teacher network may lead to negligible differences in representation capabilities of anomaly, thus affecting the detection effectiveness. Existing methods address the possible over-generalization by using differentiated students and teachers from the structural perspective or explicitly expanding distilled information from the content perspective, which inevitably result in an increased likelihood of underfitting of the student network and poor anomaly detection capabilities in anomaly center or edge. In this paper, we propose Dual-Modeling Decouple Distillation (DMDD) for the unsupervised anomaly detection. In DMDD, a Decouple Student-Teacher Network is proposed to decouple the initial student features into normality and abnormality features. We further introduce Dual-Modeling Distillation based on normal-anomaly image pairs, fitting normality features of anomalous image and the teacher features of the corresponding normal image, widening the distance between abnormality features and the teacher features in anomalous regions. Synthesizing these two distillation ideas, we achieve anomaly detection which focuses on both edge and center of anomaly. Finally, a Multi-perception Segmentation Network is proposed to achieve focused anomaly map fusion based on multiple attention. Experimental results on MVTec AD show that DMDD surpasses SOTA localization performance of previous knowledge distillation-based methods, reaching 98.85% on pixel-level AUC and 96.13% on PRO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google