Is Your Anomaly Detector Ready for Change? Adapting AIOps Solutions to the Real World

要約

異常検出技術は、IT システムと運用の監視を自動化するために不可欠です。
これらの手法は、機械学習アルゴリズムが特定の期間に対応する運用データに基づいてトレーニングされ、新しく出現したデータに基づいて継続的に評価されることを意味します。
運用データは時間の経過とともに常に変化しており、展開された異常検出モデルのパフォーマンスに影響を与えます。
したがって、異常検出器のパフォーマンスを長期間にわたって維持するには、継続的なモデルのメンテナンスが必要です。
この研究では、モデルの更新頻度の観点から、ブラインド モデルの再トレーニングとインフォームド モデルの再トレーニングという 2 つの異なる異常検出モデルのメンテナンス手法を分析します。
さらに、利用可能なすべてのデータ (全履歴アプローチ) と最新のデータのみ (スライディング ウィンドウ アプローチ) でモデルを再トレーニングすることで、モデルの更新の影響を調査します。
さらに、データ変更監視ツールが、再トレーニングを通じて異常検出モデルをいつ更新する必要があるかを判断できるかどうかを調査します。

要約(オリジナル)

Anomaly detection techniques are essential in automating the monitoring of IT systems and operations. These techniques imply that machine learning algorithms are trained on operational data corresponding to a specific period of time and that they are continuously evaluated on newly emerging data. Operational data is constantly changing over time, which affects the performance of deployed anomaly detection models. Therefore, continuous model maintenance is required to preserve the performance of anomaly detectors over time. In this work, we analyze two different anomaly detection model maintenance techniques in terms of the model update frequency, namely blind model retraining and informed model retraining. We further investigate the effects of updating the model by retraining it on all the available data (full-history approach) and only the newest data (sliding window approach). Moreover, we investigate whether a data change monitoring tool is capable of determining when the anomaly detection model needs to be updated through retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google