Neural Network Training Strategy to Enhance Anomaly Detection Performance: A Perspective on Reconstruction Loss Amplification

要約

教師なし異常検出 (UAD) は、稀な異常の発生とデータの不均衡のため、業界で広く採用されているアプローチです。
UAD モデルの望ましい特性には、目に見える正常なパターンの再構築には優れていますが、目に見えない異常には苦労する一般化能力が含まれています。
最近の研究では、ニューラル ネットワーク (NN) 構造の設計やトレーニング戦略など、さまざまな観点から再構築する際に、UAD モデルの一般化機能を含めることが追求されています。
対照的に、再構成における一般化能力の包含は、急峻な形状の損失風景からも単に得られることに注意します。
これを動機として、我々は、Loss AMPlification (LAMP) と呼ばれる、再構成損失を増幅することによる損失ランドスケープ鮮明化方法を提案します。
LAMP は損失状況を急峻な形状に変形するため、目に見えない異常の再構成誤差が大きくなります。
これにより、NNのアーキテクチャを変更することなく、異常検知性能が向上します。
私たちの調査結果は、再構築モデルが異常のないサンプルのみでトレーニングされる UAD 設定で、LAMP があらゆる再構築エラー メトリクスに簡単に適用できることを示唆しています。

要約(オリジナル)

Unsupervised anomaly detection (UAD) is a widely adopted approach in industry due to rare anomaly occurrences and data imbalance. A desirable characteristic of an UAD model is contained generalization ability which excels in the reconstruction of seen normal patterns but struggles with unseen anomalies. Recent studies have pursued to contain the generalization capability of their UAD models in reconstruction from different perspectives, such as design of neural network (NN) structure and training strategy. In contrast, we note that containing of generalization ability in reconstruction can also be obtained simply from steep-shaped loss landscape. Motivated by this, we propose a loss landscape sharpening method by amplifying the reconstruction loss, dubbed Loss AMPlification (LAMP). LAMP deforms the loss landscape into a steep shape so the reconstruction error on unseen anomalies becomes greater. Accordingly, the anomaly detection performance is improved without any change of the NN architecture. Our findings suggest that LAMP can be easily applied to any reconstruction error metrics in UAD settings where the reconstruction model is trained with anomaly-free samples only.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google