A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults

要約

この文書では、モバイル ネットワーク内の欠陥のあるアラーム ログを効率的に特定し、アラーム ログの量の増加によって引き起こされる手動監視の課題を軽減するために設計された手法である、監視付き埋め込みおよびクラスタリング異常検出 (SEMC-AD) について紹介します。
SEMC-AD は、ディープ ニューラル ネットワークに基づく教師あり埋め込みアプローチを採用し、過去のアラーム ログとそのラベルを利用して各ログの数値表現を抽出し、データセット内のごく一部の異常による不均衡な分類の問題に効果的に対処します。
ホットエンコーディング。
埋め込みの堅牢性は、埋め込まれたアラーム ログの 2 つの最も重要な主成分をプロットすることで評価され、異常が同様の埋め込みを持つ個別のクラスターを形成していることが明らかになります。
次に、多変量正規ガウス クラスタリングがこれらのコンポーネントに適用され、正常アラームに対する異常の比率が高いクラスター (90% 以上) が識別され、それらに異常グループとしてラベルが付けられます。
新しいアラーム ログを分類するには、その埋め込まれたベクトルの 2 つの最も重要な主成分が異常のラベルが付けられたクラスター内にあるかどうかを確認します。
存在する場合、ログは異常として分類されます。
パフォーマンス評価では、SEMC-AD が埋め込みを行わない従来のランダム フォレストおよび勾配ブースティング手法よりも優れたパフォーマンスを発揮することが実証されています。
SEMC-AD は 99% の異常検出を達成しますが、ランダム フォレストと XGBoost はそれぞれ異常の 86% と 81% しか検出しません。
教師付き分類手法はラベル付きデータセットで優れている可能性がありますが、結果は、SEMC-AD が多数のカテゴリ特徴を持つデータセットの異常を分類する際により効率的であり、異常検出を大幅に強化し、オペレーターの負担を軽減し、ネットワークのメンテナンスを改善することを示しています。

要約(オリジナル)

The paper introduces Supervised Embedding and Clustering Anomaly Detection (SEMC-AD), a method designed to efficiently identify faulty alarm logs in a mobile network and alleviate the challenges of manual monitoring caused by the growing volume of alarm logs. SEMC-AD employs a supervised embedding approach based on deep neural networks, utilizing historical alarm logs and their labels to extract numerical representations for each log, effectively addressing the issue of imbalanced classification due to a small proportion of anomalies in the dataset without employing one-hot encoding. The robustness of the embedding is evaluated by plotting the two most significant principle components of the embedded alarm logs, revealing that anomalies form distinct clusters with similar embeddings. Multivariate normal Gaussian clustering is then applied to these components, identifying clusters with a high ratio of anomalies to normal alarms (above 90%) and labeling them as the anomaly group. To classify new alarm logs, we check if their embedded vectors’ two most significant principle components fall within the anomaly-labeled clusters. If so, the log is classified as an anomaly. Performance evaluation demonstrates that SEMC-AD outperforms conventional random forest and gradient boosting methods without embedding. SEMC-AD achieves 99% anomaly detection, whereas random forest and XGBoost only detect 86% and 81% of anomalies, respectively. While supervised classification methods may excel in labeled datasets, the results demonstrate that SEMC-AD is more efficient in classifying anomalies in datasets with numerous categorical features, significantly enhancing anomaly detection, reducing operator burden, and improving network maintenance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google