Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals

要約

センサー信号の半監視型異常検出は、スマート製造におけるシステムの信頼性を確保する上で重要です。
しかし、既存の手法はデータの相関性に大きく依存しており、因果関係が無視され、交絡因子による潜在的な誤解を招いています。
さらに、現在の強化学習ベースの手法は、限られたラベル付きサンプルを使用して既知および未知の異常を効果的に識別できますが、これらの手法は、先験的知識の十分な活用、モデルの柔軟性の欠如、環境相互作用中の報酬フィードバックの不足など、依然としていくつかの課題に直面しています。
上記の問題に対処するために、この論文では、トリプル支援因果強化学習異常検出器 (Tri-CRLAD) と呼ばれる反事実因果強化学習モデルを革新的に構築します。
このモデルは、因果推論を活用してデータ内の本質的な因果特徴を抽出し、エージェントによる事前知識の利用を強化し、一般化能力を向上させます。
さらに、Tri-CRLAD は、履歴類似性に基づくサンプリング戦略、適応型しきい値平滑化調整戦略、および適応型意思決定報酬メカニズムを含む、トリプル意思決定サポート メカニズムを備えています。
これらのメカニズムにより、モデルの柔軟性と一般化能力がさらに強化され、複雑で動的に変化するさまざまな環境に効果的に対応できるようになります。
7 つの多様なセンサー信号データセットにわたる実験結果は、Tri-CRLAD が 9 つの最先端のベースライン手法を上回ることを示しています。
特に、Tri-CRLAD は、最小限の既知の異常サンプルで異常検出の安定性が最大 23\% 向上しており、半監視型異常検出シナリオにおける可能性を強調しています。
私たちのコードは https://github.com/Aoudsung/Tri-CRLAD で入手できます。

要約(オリジナル)

Semi-supervised anomaly detection for sensor signals is critical in ensuring system reliability in smart manufacturing. However, existing methods rely heavily on data correlation, neglecting causality and leading to potential misinterpretations due to confounding factors. Moreover, while current reinforcement learning-based methods can effectively identify known and unknown anomalies with limited labeled samples, these methods still face several challenges, such as under-utilization of priori knowledge, lack of model flexibility, and deficient reward feedback during environmental interactions. To address the above problems, this paper innovatively constructs a counterfactual causal reinforcement learning model, termed Triple-Assisted Causal Reinforcement Learning Anomaly Detector (Tri-CRLAD). The model leverages causal inference to extract the intrinsic causal feature in data, enhancing the agent’s utilization of prior knowledge and improving its generalization capability. In addition, Tri-CRLAD features a triple decision support mechanism, including a sampling strategy based on historical similarity, an adaptive threshold smoothing adjustment strategy, and an adaptive decision reward mechanism. These mechanisms further enhance the flexibility and generalization ability of the model, enabling it to effectively respond to various complex and dynamically changing environments. Experimental results across seven diverse sensor signal datasets demonstrate that Tri-CRLAD outperforms nine state-of-the-art baseline methods. Notably, Tri-CRLAD achieves up to a 23\% improvement in anomaly detection stability with minimal known anomaly samples, highlighting its potential in semi-supervised anomaly detection scenarios. Our code is available at https://github.com/Aoudsung/Tri-CRLAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google