ISSTAD: Incremental Self-Supervised Learning Based on Transformer for Anomaly Detection and Localization

要約

タイトル：ISSTAD：Transformerに基づく増分の自己教示学習による異常検出およびローカリゼーション

要約：

– 機械学習の領域において、画像データ内の異常検出とローカリゼーションの研究が実用的な応用例（工業欠陥検出など）において大きな注目を集めています。
– 既存の多くの方法は異常検出ネットワークの主要なアーキテクチャとして畳み込みニューラルネットワーク（CNN）を使用しているが、Transformerバックボーンネットワークに基づく新しいアプローチを提唱する。
– 本手法は、二段階の増分学習戦略を採用しています。第一段階では、正常な画像のみを使用してマスクされたオートエンコーダー（MAE）モデルをトレーニングします。次の段階では、ピクセルレベルのデータ拡張技術を適用して、破損した正常画像とそれらに対応するピクセルラベルを生成します。このプロセスにより、モデルは修復が必要な領域を学習し、各ピクセルの状態を分類する方法を学習します。
– 最終的に、モデルはピクセル再構築エラーマトリックスとピクセル異常確率マトリックスを生成します。これらのマトリックスを組み合わせることで、異常な領域を効果的に検出する異常スコアリングマトリックスが作成されます。
– いくつかの最先端のCNNベースの方法をベンチマークにした結果、本手法はMVTec ADデータセットで優れたパフォーマンスを発揮し、97.6％のAUCを達成しています。

要約(オリジナル)

In the realm of machine learning, the study of anomaly detection and localization within image data has gained substantial traction, particularly for practical applications such as industrial defect detection. While the majority of existing methods predominantly use Convolutional Neural Networks (CNN) as their primary network architecture, we introduce a novel approach based on the Transformer backbone network. Our method employs a two-stage incremental learning strategy. During the first stage, we train a Masked Autoencoder (MAE) model solely on normal images. In the subsequent stage, we apply pixel-level data augmentation techniques to generate corrupted normal images and their corresponding pixel labels. This process allows the model to learn how to repair corrupted regions and classify the status of each pixel. Ultimately, the model generates a pixel reconstruction error matrix and a pixel anomaly probability matrix. These matrices are then combined to produce an anomaly scoring matrix that effectively detects abnormal regions. When benchmarked against several state-of-the-art CNN-based methods, our approach exhibits superior performance on the MVTec AD dataset, achieving an impressive 97.6% AUC.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI