Mean-Shifted Contrastive Loss for Anomaly Detection

要約

深い異常検出方法は、正常な画像と異常な画像を区別する表現を学習します。
自己教師あり表現学習が一般的に使用されていますが、データセットのサイズが小さいとその効果が制限されます。
外部の汎用データセット (ImageNet 分類など) を利用すると、異常検出のパフォーマンスが大幅に向上することが以前に示されていました。
1 つのアプローチは異常値の露出です。これは、外部データセットが異常に似ていない場合に失敗します。
異常検出のために、外部データセットで事前にトレーニングされた表現を転送するアプローチを採用しています。
通常のトレーニング画像で事前トレーニングされた表現を微調整することで、異常検出のパフォーマンスを大幅に向上させることができます。
このホワイトペーパーでは、最初に、最も一般的な自己教師あり学習パラダイムである対照学習を、事前トレーニング済みの機能に単純に適用できないことを示して分析します。
その理由は、事前にトレーニングされた機能の初期化により、標準的な対比目的の調整が不十分になり、最適化のダイナミクスが低下するためです。
私たちの分析に基づいて、修正された対比目標である平均シフト対比損失を提供します。
私たちの方法は非常に効果的であり、CIFAR-10 データセットで $98.6\%$ ROC-AUC を含む新しい最先端の異常検出パフォーマンスを達成しています。

要約(オリジナル)

Deep anomaly detection methods learn representations that separate between normal and anomalous images. Although self-supervised representation learning is commonly used, small dataset sizes limit its effectiveness. It was previously shown that utilizing external, generic datasets (e.g. ImageNet classification) can significantly improve anomaly detection performance. One approach is outlier exposure, which fails when the external datasets do not resemble the anomalies. We take the approach of transferring representations pre-trained on external datasets for anomaly detection. Anomaly detection performance can be significantly improved by fine-tuning the pre-trained representations on the normal training images. In this paper, we first demonstrate and analyze that contrastive learning, the most popular self-supervised learning paradigm cannot be naively applied to pre-trained features. The reason is that pre-trained feature initialization causes poor conditioning for standard contrastive objectives, resulting in bad optimization dynamics. Based on our analysis, we provide a modified contrastive objective, the Mean-Shifted Contrastive Loss. Our method is highly effective and achieves a new state-of-the-art anomaly detection performance including $98.6\%$ ROC-AUC on the CIFAR-10 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google