Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed Evaluation Methodology

要約

多変量時系列 (MVTS) 異常検出は長年にわたる挑戦的な研究テーマであり、最近では産業界と学術界の両方から多大な研究努力が集まっています。
しかし、文献を注意深く研究すると、1) コミュニティは活発ですが、コンピューター ビジョン (CV) や自然言語処理 (NLP) などの他の兄弟機械学習コミュニティほど組織化されていない、2) 提案されているソリューションのほとんどが次のようなものであることがわかります。
明らかに科学的根拠が欠如しており、不適切または非常に欠陥のあるプロトコルを使用して評価されました。
非常に人気のあるプロトコルの 1 つ、いわゆるポイント調整プロトコルには非常に欠陥があり、ランダムな推測がこれまでに開発されたすべてのアルゴリズムを系統的に上回るパフォーマンスを示すことが示されています。
このペーパーでは、より堅牢なプロトコルを使用した多くの最近のアルゴリズムをレビューおよび評価し、MVTS 異常検出のコンテキストにおいて通常は良好なプロトコルにどのような弱点がある可能性があるか、およびそれらを軽減する方法について説明します。
また、多くの研究で観察されているベンチマーク データセット、実験計画、評価方法論についての懸念も共有します。
さらに、主成分分析 (PCA) に基づいた、シンプルだが挑戦的なベースラインを提案します。これは、一般的なベンチマーク データセットに対する最近のディープ ラーニング (DL) ベースのアプローチの多くを驚くほど上回ります。
この研究の主な目的は、ますます複雑で「派手な」アルゴリズムの設計に最も重点を置くのではなく、データ、実験計画、評価方法論、結果の解釈可能性などの研究の重要な側面に対するさらなる努力を刺激することです。

要約(オリジナル)

Multivariate Time Series (MVTS) anomaly detection is a long-standing and challenging research topic that has attracted tremendous research effort from both industry and academia recently. However, a careful study of the literature makes us realize that 1) the community is active but not as organized as other sibling machine learning communities such as Computer Vision (CV) and Natural Language Processing (NLP), and 2) most proposed solutions are evaluated using either inappropriate or highly flawed protocols, with an apparent lack of scientific foundation. So flawed is one very popular protocol, the so-called point-adjust protocol, that a random guess can be shown to systematically outperform all algorithms developed so far. In this paper, we review and evaluate many recent algorithms using more robust protocols and discuss how a normally good protocol may have weaknesses in the context of MVTS anomaly detection and how to mitigate them. We also share our concerns about benchmark datasets, experiment design and evaluation methodology we observe in many works. Furthermore, we propose a simple, yet challenging, baseline based on Principal Components Analysis (PCA) that surprisingly outperforms many recent Deep Learning (DL) based approaches on popular benchmark datasets. The main objective of this work is to stimulate more effort towards important aspects of the research such as data, experiment design, evaluation methodology and result interpretability, instead of putting the highest weight on the design of increasingly more complex and ‘fancier’ algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google