Interactive System-wise Anomaly Detection

要約

【タイトル】–対話式システム全体の異常検知

【要約】
– 異常検出は、多様なアプリケーションにおいて、多数派と異なる特徴のパターンを含むデータインスタンスを発見することで重要な役割を果たしています。
– しかし、インスタンスがデータとして直接観測できないシステムである場合、既存の手法では処理が困難な場合があります。システムと対話するための適切なインタラクションが必要であり、異常な応答を持つシステムを識別する必要があります。
– システム全体の異常検出は、いくつかの理由により、課題があります。それらには次のような問題があります。システム全体の異常検出問題を形式的に定義する方法、システムと対話してプログレッシブにデータを収集し、検出器を学習するための効果的なアクティベーションシグナルを見つける方法、および、リアルタイムインタラクションがある非定常シナリオにおける安定したトレーニングを保証する方法が含まれます。
– これらの課題に対処するために、InterSAD（対話式システム全体の異常検知）を提案しています。具体的には、まず、マルコフ決定過程を採用して対話システムをモデル化し、異常な遷移と異常な報酬システムを異常なシステムと定義します。次に、システムの埋め込みを学習するエンコーダー-デコーダーモジュールと、正常なシステムと異常なシステムの埋め込みを分離する効果的なアクティベーションを生成するためのポリシーネットワークを含むエンドツーエンドアプローチを開発します。最後に、履歴的な対話データを保存し、再サンプリングするためのリプレイバッファを含む学習プロセスを安定化するトレーニング方法を設計します。
– ロボットシステムの異常を識別することと、推奨モデルでのユーザーデータの汚染を検出することを含めた2つのベンチマーク環境での実験は、InterSADが最先端のベースライン方法と比較して優れていることを示しています。

要約(オリジナル)

Anomaly detection, where data instances are discovered containing feature patterns different from the majority, plays a fundamental role in various applications. However, it is challenging for existing methods to handle the scenarios where the instances are systems whose characteristics are not readily observed as data. Appropriate interactions are needed to interact with the systems and identify those with abnormal responses. Detecting system-wise anomalies is a challenging task due to several reasons including: how to formally define the system-wise anomaly detection problem; how to find the effective activation signal for interacting with systems to progressively collect the data and learn the detector; how to guarantee stable training in such a non-stationary scenario with real-time interactions? To address the challenges, we propose InterSAD (Interactive System-wise Anomaly Detection). Specifically, first, we adopt Markov decision process to model the interactive systems, and define anomalous systems as anomalous transition and anomalous reward systems. Then, we develop an end-to-end approach which includes an encoder-decoder module that learns system embeddings, and a policy network to generate effective activation for separating embeddings of normal and anomaly systems. Finally, we design a training method to stabilize the learning process, which includes a replay buffer to store historical interaction data and allow them to be re-sampled. Experiments on two benchmark environments, including identifying the anomalous robotic systems and detecting user data poisoning in recommendation models, demonstrate the superiority of InterSAD compared with state-of-the-art baselines methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI