Adaptive Bernstein Change Detector for High-Dimensional Data Streams

要約

データ ストリームを分析する場合、変更の検出は基本的に重要です。
変化を迅速かつ正確に検出することで、監視および予測システムは、アラームを発したり、学習アルゴリズムを更新したりするなどの対応が可能になります。
ただし、観察が高次元である場合、変化を検出することは困難です。
高次元データでは、変更検出器は、変更がいつ発生するかだけでなく、変更がどの部分空間で発生するかを識別できる必要があります。
理想的には、それらの深刻度も定量化する必要があります。
私たちのアプローチである ABCD には次のような特性があります。
ABCD はエンコーダ/デコーダ モデルを学習し、適応サイズのウィンドウにわたってその精度を監視します。
ABCD は、バーンスタインの不等式に基づいて変化スコアを導き出し、変化を示す精度の偏差を検出します。
私たちの実験では、ABCD が平均 F1 スコアで最高の競合他社を少なくとも 8%、最大 23% 上回っていることが実証されました。
また、グランド トゥルースと相関する重大度の尺度とともに、変更の部分空間を正確に推定することもできます。

要約(オリジナル)

Change detection is of fundamental importance when analyzing data streams. Detecting changes both quickly and accurately enables monitoring and prediction systems to react, e.g., by issuing an alarm or by updating a learning algorithm. However, detecting changes is challenging when observations are high-dimensional. In high-dimensional data, change detectors should not only be able to identify when changes happen, but also in which subspace they occur. Ideally, one should also quantify how severe they are. Our approach, ABCD, has these properties. ABCD learns an encoder-decoder model and monitors its accuracy over a window of adaptive size. ABCD derives a change score based on Bernstein’s inequality to detect deviations in terms of accuracy, which indicate changes. Our experiments demonstrate that ABCD outperforms its best competitor by at least 8% and up to 23% in F1-score on average. It can also accurately estimate changes’ subspace, together with a severity measure that correlates with the ground truth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google