Anomalous Change Point Detection Using Probabilistic Predictive Coding

要約

変化点検出 (CPD) と異常検出 (AD) は、突然の変化や異常なデータ インスタンスを特定するためのさまざまな分野で不可欠な技術です。
ただし、既存の手法は単変量データに制約されることが多く、計算需要による大規模なデータセットのスケーラビリティの課題に直面し、高次元または複雑なデータや隠れた異常でパフォーマンスの低下が発生します。
さらに、それらはドメイン固有の知識に対する解釈可能性や適応性に欠けていることが多く、異なる分野にわたる汎用性が制限されます。
この研究では、確率的予測コーディング (PPC) と呼ばれる深層学習ベースの CPD/AD 手法を提案します。この手法は、連続データを低次元の潜在空間表現にエンコードし、後続のデータ表現と対応する予測不確実性を予測する方法を共同学習します。
モデル パラメーターは、これらの予測を真のエンコーディングと比較することにより、最尤推定で最適化されます。
適用時に、実際のエンコードと予測されたエンコードを使用して、適合の確率、解釈可能で意味のある異常スコアが決定されます。
さらに、私たちのアプローチは線形な時間計算量を持ち、スケーラビリティの問題が回避され、この方法は幅広いデータ型や複雑なアプリケーションに簡単に調整できます。
私たちは、合成時系列実験、画像データ、および実世界の磁気共鳴分光イメージングデータ全体にわたって、提案した方法の有効性と適応性を実証します。

要約(オリジナル)

Change point detection (CPD) and anomaly detection (AD) are essential techniques in various fields to identify abrupt changes or abnormal data instances. However, existing methods are often constrained to univariate data, face scalability challenges with large datasets due to computational demands, and experience reduced performance with high-dimensional or intricate data, as well as hidden anomalies. Furthermore, they often lack interpretability and adaptability to domain-specific knowledge, which limits their versatility across different fields. In this work, we propose a deep learning-based CPD/AD method called Probabilistic Predictive Coding (PPC) that jointly learns to encode sequential data to low dimensional latent space representations and to predict the subsequent data representations as well as the corresponding prediction uncertainties. The model parameters are optimized with maximum likelihood estimation by comparing these predictions with the true encodings. At the time of application, the true and predicted encodings are used to determine the probability of conformity, an interpretable and meaningful anomaly score. Furthermore, our approach has linear time complexity, scalability issues are prevented, and the method can easily be adjusted to a wide range of data types and intricate applications. We demonstrate the effectiveness and adaptability of our proposed method across synthetic time series experiments, image data, and real-world magnetic resonance spectroscopic imaging data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google