ADTR: Anomaly Detection Transformer with Feature Reconstruction

要約

異常サンプルが不足しているため、正常サンプルからの事前知識のみを使用した異常検出が注目を集めています。
既存の CNN ベースのピクセル再構築アプローチには、2 つの懸念事項があります。
まず、再構成のソースとターゲットは、区別できないセマンティック情報を含む生のピクセル値です。
第 2 に、CNN は正常なサンプルと異常の両方を適切に再構築する傾向があるため、それらを区別することは依然として困難です。
この論文では、トランスフォーマーを適用して事前トレーニング済みの特徴を再構築するために、異常検出トランスフォーマー (ADTR) を提案します。
事前トレーニング済みの機能には、識別可能なセマンティック情報が含まれています。
また、再構築が失敗した場合に異常を簡単に検出できるように、異常を適切に再構築するための変圧器制限の採用。
さらに、私たちのアプローチを通常のサンプルのみのケースと、画像レベルとピクセルレベルの両方のラベル付き異常を伴う異常利用可能なケースと互換性を持たせるために、新しい損失関数を提案します。
単純な合成または外部の無関係な異常を追加することで、パフォーマンスをさらに向上させることができます。
MVTec-AD や CIFAR-10 などの異常検出データセットに対して広範な実験が行われています。
私たちの方法は、すべてのベースラインと比較して優れたパフォーマンスを実現します。

要約(オリジナル)

Anomaly detection with only prior knowledge from normal samples attracts more attention because of the lack of anomaly samples. Existing CNN-based pixel reconstruction approaches suffer from two concerns. First, the reconstruction source and target are raw pixel values that contain indistinguishable semantic information. Second, CNN tends to reconstruct both normal samples and anomalies well, making them still hard to distinguish. In this paper, we propose Anomaly Detection TRansformer (ADTR) to apply a transformer to reconstruct pre-trained features. The pre-trained features contain distinguishable semantic information. Also, the adoption of transformer limits to reconstruct anomalies well such that anomalies could be detected easily once the reconstruction fails. Moreover, we propose novel loss functions to make our approach compatible with the normal-sample-only case and the anomaly-available case with both image-level and pixel-level labeled anomalies. The performance could be further improved by adding simple synthetic or external irrelevant anomalies. Extensive experiments are conducted on anomaly detection datasets including MVTec-AD and CIFAR-10. Our method achieves superior performance compared with all baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google