Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection

要約

ImageNetで事前に訓練された教師モデルと学習可能な生徒モデルとの間の知識蒸留の幅広い応用により、産業用異常検知はここ数年で大きな成果を上げている。知識抽出の成功は、主に教師モデルと生徒モデルの間の特徴の不一致をいかに抑えるかに依存し、その際、以下のことが仮定される：(1)教師モデルは正常パターンと異常パターンの2つの異なる分布を共同で表現でき、(2)生徒モデルは正規分布のみを再構成できる。しかし、これらの理想的な仮定を実際に維持することは依然として困難な課題である。本論文では、ロバストな特徴不一致を得るために、異常増幅と正規性蒸留を順次行う、AANDと呼ばれるシンプルかつ効果的な2段階の産業用異常検知フレームワークを提案する。最初の異常増幅ステージでは、事前に訓練された教師エンコーダを前進させるために、新しい残差異常増幅(RAA)モジュールを提案する。合成異常の暴露により、事前学習済みモデルの完全性を維持しながら、残差生成により異常を増幅する。このモジュールは主にマッチング誘導残差ゲートと属性スケーリング残差生成器から構成され、それぞれ残差の割合と特性を決定することができる。第二の正規性蒸留段階では、さらに逆蒸留パラダイムを採用し、正規パターンの再構成をより容易にするために新しいHKD（Hard Knowledge Distillation）損失を構築した学生デコーダを訓練する。MvTecAD、VisA、MvTec3D-RGBデータセットを用いた包括的な実験により、我々の手法が最先端の性能を達成することが示された。

要約(オリジナル)

With the wide application of knowledge distillation between an ImageNet pre-trained teacher model and a learnable student model, industrial anomaly detection has witnessed a significant achievement in the past few years. The success of knowledge distillation mainly relies on how to keep the feature discrepancy between the teacher and student model, in which it assumes that: (1) the teacher model can jointly represent two different distributions for the normal and abnormal patterns, while (2) the student model can only reconstruct the normal distribution. However, it still remains a challenging issue to maintain these ideal assumptions in practice. In this paper, we propose a simple yet effective two-stage industrial anomaly detection framework, termed as AAND, which sequentially performs Anomaly Amplification and Normality Distillation to obtain robust feature discrepancy. In the first anomaly amplification stage, we propose a novel Residual Anomaly Amplification (RAA) module to advance the pre-trained teacher encoder. With the exposure of synthetic anomalies, it amplifies anomalies via residual generation while maintaining the integrity of pre-trained model. It mainly comprises a Matching-guided Residual Gate and an Attribute-scaling Residual Generator, which can determine the residuals’ proportion and characteristic, respectively. In the second normality distillation stage, we further employ a reverse distillation paradigm to train a student decoder, in which a novel Hard Knowledge Distillation (HKD) loss is built to better facilitate the reconstruction of normal patterns. Comprehensive experiments on the MvTecAD, VisA, and MvTec3D-RGB datasets show that our method achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL