A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection

要約

表面欠陥検出は、工業品質検査の最も重要なプロセスの 1 つです。
ディープラーニングに基づく表面欠陥検出方法は、大きな可能性を示しています。
ただし、パフォーマンスの高いモデルには通常、大量のトレーニング データが必要であり、トレーニング段階で発生した欠陥しか検出できません。
増分数ショット データに直面すると、欠陥検出モデルは壊滅的な忘却と誤分類の問題に悩まされることは避けられません。
これらの問題を解決するために、この論文では、Dual Knowledge Align Network (DKAN) と呼ばれる新しい知識蒸留ネットワークを提案します。
提案された DKAN メソッドは、事前トレーニングと微調整の転移学習パラダイムに従い、知識蒸留フレームワークは微調整用に設計されています。
具体的には、さまざまなカテゴリの分離された安定した特徴表現を実現するために、インクリメンタル RCNN が提案されています。
このフレームワークでは、壊滅的な忘却の問題に対処するために、クラスに依存しない特徴マップ間で Feature Knowledge Align (FKA) 損失が設計され、誤分類の問題に対処するために Logit Knowledge Align (LKA) 損失がロジット分布間で展開されます。
増分数ショット NEU-DET データセットに対して実験が行われ、その結果、DKAN がさまざまな数ショット シーンで他の方法よりも優れていることが示され、平均精度メトリックで最大 6.65% であり、提案された方法の有効性が証明されています。

要約(オリジナル)

Surface defect detection is one of the most essential processes for industrial quality inspection. Deep learning-based surface defect detection methods have shown great potential. However, the well-performed models usually require large training data and can only detect defects that appeared in the training stage. When facing incremental few-shot data, defect detection models inevitably suffer from catastrophic forgetting and misclassification problem. To solve these problems, this paper proposes a new knowledge distillation network, called Dual Knowledge Align Network (DKAN). The proposed DKAN method follows a pretraining-finetuning transfer learning paradigm and a knowledge distillation framework is designed for fine-tuning. Specifically, an Incremental RCNN is proposed to achieve decoupled stable feature representation of different categories. Under this framework, a Feature Knowledge Align (FKA) loss is designed between class-agnostic feature maps to deal with catastrophic forgetting problems, and a Logit Knowledge Align (LKA) loss is deployed between logit distributions to tackle misclassification problems. Experiments have been conducted on the incremental Few-shot NEU-DET dataset and results show that DKAN outperforms other methods on various few-shot scenes, up to 6.65% on the mean Average Precision metric, which proves the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google