Incremental Self-Supervised Learning Based on Transformer for Anomaly Detection and Localization

要約

タイトル：Transformerを用いた異常検知と異常領域の位置特定に基づく増分的自己教師あり学習

要約：
-画像内の異常検知と異常領域の位置特定の研究は、産業での欠陥検出などの実用的なアプリケーションでは特に注目を集めている。
-既存の手法は、主にConvolutional Neural Networks (CNN)をバックボーンネットワークとして利用しており、本研究ではTransformerバックボーンネットワークに基づく革新的な手法を提案している。
-本手法は、2段階の増分的学習戦略を採用している。
-第一段階では、正常な画像に限定してMasked Autoencoder（MAE）モデルをトレーニングする。
-その後、第二段階では、ピクセルレベルのデータ拡張技術を実装して、破損した正常画像とそれに対応するピクセルラベルを生成することで、モデルに破損領域の修復方法と各ピクセルの状態の分類方法を学習させる。
-最終的に、モデルはピクセル再構成エラー行列とピクセル異常確率行列を生成し、これらを組み合わせて異常領域を効果的に識別する異常スコアリング行列を生成する。
-MVTec ADデータセットに対して、当手法は、いくつかの最先端のCNNベースの技術と比較して、97.6%のAUCを達成し、優れたパフォーマンスを示している。

要約(オリジナル)

In the machine learning domain, research on anomaly detection and localization within image data has garnered significant attention, particularly in practical applications such as industrial defect detection. While existing approaches predominantly rely on Convolutional Neural Networks (CNN) as their backbone network, we propose an innovative method based on the Transformer backbone network. Our approach employs a two-stage incremental learning strategy. In the first stage, we train a Masked Autoencoder (MAE) model exclusively on normal images. Subsequently, in the second stage, we implement pixel-level data augmentation techniques to generate corrupted normal images and their corresponding pixel labels. This process enables the model to learn how to repair corrupted regions and classify the state of each pixel. Ultimately, the model produces a pixel reconstruction error matrix and a pixel anomaly probability matrix, which are combined to create an anomaly scoring matrix that effectively identifies abnormal regions. When compared to several state-of-the-art CNN-based techniques, our method demonstrates superior performance on the MVTec AD dataset, achieving an impressive 97.6% AUC.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI