Position: Quo Vadis, Unsupervised Time Series Anomaly Detection?

要約

Timeseries Anomaly Detection (TAD) における機械学習の研究の現状は、欠陥のある評価指標の継続的な使用、一貫性のないベンチマーク手法、および新しい深層学習ベースのモデル設計で行われた選択に対する適切な正当化の欠如によって悩まされています。
私たちの論文は、TAD の現状についての批判的な分析を示し、現在の研究の誤解を招く軌跡を明らかにし、問題のある手法と評価の実践を明らかにしています。
私たちの立場は、単に新しいモデル設計を追求することから、ベンチマークの実践を改善し、自明ではないデータセットを作成し、より単純なベースラインに対して複雑な手法の有用性を批判的に評価することに重点を移すことを提唱しています。
私たちの調査結果は、厳密な評価プロトコルの必要性、シンプルなベースラインの作成、そして最先端の深い異常検出モデルが線形マッピングを効果的に学習するという事実を示しています。
これらの発見は、シンプルで解釈可能な TAD 手法のさらなる探索と開発の必要性を示唆しています。
最先端の深層学習ベースのモデルではモデルの複雑さが増加しても、残念ながらほとんど改善が見られません。
私たちは、この分野が前進するための洞察と提案を提供します。
コード: https://github.com/ssarfraz/QuoVadisTAD

要約(オリジナル)

The current state of machine learning scholarship in Timeseries Anomaly Detection (TAD) is plagued by the persistent use of flawed evaluation metrics, inconsistent benchmarking practices, and a lack of proper justification for the choices made in novel deep learning-based model designs. Our paper presents a critical analysis of the status quo in TAD, revealing the misleading track of current research and highlighting problematic methods, and evaluation practices. Our position advocates for a shift in focus from solely pursuing novel model designs to improving benchmarking practices, creating non-trivial datasets, and critically evaluating the utility of complex methods against simpler baselines. Our findings demonstrate the need for rigorous evaluation protocols, the creation of simple baselines, and the revelation that state-of-the-art deep anomaly detection models effectively learn linear mappings. These findings suggest the need for more exploration and development of simple and interpretable TAD methods. The increment of model complexity in the state-of-the-art deep-learning based models unfortunately offers very little improvement. We offer insights and suggestions for the field to move forward. Code: https://github.com/ssarfraz/QuoVadisTAD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google