MixedTeacher : Knowledge Distillation for fast inference textural anomaly detection

要約

非常に長い間、異常検出のための教師なし学習は画像処理研究の中心であり、高性能産業オートメーション プロセスへの足がかりでした。
CNN の出現に伴い、オートエンコーダ、GAN、深部特徴抽出などのいくつかの手法が提案されています。本論文では、ネットワーク (学生) のトレーニングからなる知識蒸留という有望な概念に基づいた新しい手法を提案します。
より大規模な事前トレーニング済みネットワーク (教師) の出力を考慮しながら、通常のサンプルを対象とします。
この論文の主な貢献は 2 つあります。まず、最適なレイヤ選択を備えた削減された学生アーキテクチャが提案され、次に、異常検出とそのパフォーマンスを共同で強化するために、2 人の教師を組み合わせたネットワーク バイアス削減を備えた新しい学生と教師のアーキテクチャが提案されています。
位置特定の精度。
提案されたテクスチャ異常検出器は、SOTA 手法と比較して、あらゆるテクスチャの欠陥を検出する優れた能力と高速な推論時間を備えています。

要約(オリジナル)

For a very long time, unsupervised learning for anomaly detection has been at the heart of image processing research and a stepping stone for high performance industrial automation process. With the emergence of CNN, several methods have been proposed such as Autoencoders, GAN, deep feature extraction, etc. In this paper, we propose a new method based on the promising concept of knowledge distillation which consists of training a network (the student) on normal samples while considering the output of a larger pretrained network (the teacher). The main contributions of this paper are twofold: First, a reduced student architecture with optimal layer selection is proposed, then a new Student-Teacher architecture with network bias reduction combining two teachers is proposed in order to jointly enhance the performance of anomaly detection and its localization accuracy. The proposed texture anomaly detector has an outstanding capability to detect defects in any texture and a fast inference time compared to the SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google