LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Anomaly Detection

要約

現在の異常検出モデルのほとんどは、正常なパターンが常に同じであることを前提としています。
ただし、Web サービスの通常のパターンは劇的かつ頻繁に変化します。
古い分布データでトレーニングされたモデルは、このような変更の後は時代遅れになります。
モデル全体を毎回再トレーニングするとコストがかかります。
さらに、通常のパターン変化の開始時には、新しい分布からの十分な観測データがありません。
限られたデータを使用して大規模なニューラル ネットワーク モデルを再トレーニングすると、過剰学習に対して脆弱になります。
したがって、私たちは、深変分自動エンコーダベースの時系列異常検出法 (VAE) に対して、軽量で過学習防止の再トレーニング アプローチ (LARA) を提案します。
この研究は 3 つの新しい貢献をすることを目的としています。1) 再トレーニング プロセスは凸問題として定式化され、高速で収束し、過学習を防ぐことができます。
2) 履歴データを保存せずに活用する反すうブロックを設計する。
3) 潜在ベクトルと再構築データを微調整する場合、線形構成ではグランド トゥルースと微調整されたデータの間の調整誤差を最小限に抑えることができることを数学的に証明します。
さらに、新しい配信からの 43 タイムスロットのデータでも LARA を再トレーニングすると、十分なデータでトレーニングされた最先端の異常検出モデルと比較して、競争力のある F1 スコアが得られることを検証するために多くの実験を実施しました。
さらに、オーバーヘッドが軽いことを確認します。

要約(オリジナル)

Most of current anomaly detection models assume that the normal pattern remains same all the time. However, the normal patterns of Web services change dramatically and frequently. The model trained on old-distribution data is outdated after such changes. Retraining the whole model every time is expensive. Besides, at the beginning of normal pattern changes, there is not enough observation data from the new distribution. Retraining a large neural network model with limited data is vulnerable to overfitting. Thus, we propose a Light and Anti-overfitting Retraining Approach (LARA) for deep variational auto-encoder based time series anomaly detection methods (VAEs). This work aims to make three novel contributions: 1) the retraining process is formulated as a convex problem and can converge at a fast rate as well as prevent overfitting; 2) designing a ruminate block, which leverages the historical data without the need to store them; 3) mathematically proving that when fine-tuning the latent vector and reconstructed data, the linear formations can achieve the least adjusting errors between the ground truths and the fine-tuned ones. Moreover, we have performed many experiments to verify that retraining LARA with even 43 time slots of data from new distribution can result in its competitive F1 Score in comparison with the state-of-the-art anomaly detection models trained with sufficient data. Besides, we verify its light overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google