Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling

要約

異常検出（AD）は、将来の通信システムの回復力を確保するための重要なコンポーネントとしてますます認識されています。
ディープラーニングは最先端の広告パフォーマンスを示していますが、重要なシステムでのそのアプリケーションは、トレーニングデータの効率、ドメインの適応、および解釈性に関する懸念によって妨げられています。
この作業では、不完全な測定を使用してネットワークフローのADを考慮し、これらの課題に対処するための堅牢なテンソル分解アプローチと深い展開技術を活用します。
最初に、通常のフローが低ランクのテンソルとしてモデル化され、異常がまばらであるようにモデル化される正規化されたモデル適合目的に基づいて、新しいブロック分散凸近似アルゴリズムを提案します。
目標の増強が導入され、計算コストが削減されます。
深い展開を適用して、提案されたアルゴリズムに基づいて新しいディープネットワークアーキテクチャを導き出し、正規化パラメーターを学習可能な重みとして扱います。
ベイジアンアプローチに触発されて、モデルアーキテクチャを拡張して、フローごとにオンライン適応を実行し、時間あたりの統計を実行し、低パラメーターカウントを維持しながら広告パフォーマンスを向上させ、問題の順列性を維持します。
検出パフォーマンスのためにディープネットワークの重みを最適化するために、受信機動作特性曲線の下での領域の効率的な近似に基づいて、ホモトピー最適化アプローチを採用しています。
合成および実世界のデータに関する広範な実験は、提案されているディープネットワークアーキテクチャが高いトレーニングデータ効率を示し、参照方法を上回り、さまざまなネットワークトポロジにシームレスに適応することを示しています。

要約(オリジナル)

Anomaly detection (AD) is increasingly recognized as a key component for ensuring the resilience of future communication systems. While deep learning has shown state-of-the-art AD performance, its application in critical systems is hindered by concerns regarding training data efficiency, domain adaptation and interpretability. This work considers AD in network flows using incomplete measurements, leveraging a robust tensor decomposition approach and deep unrolling techniques to address these challenges. We first propose a novel block-successive convex approximation algorithm based on a regularized model-fitting objective where the normal flows are modeled as low-rank tensors and anomalies as sparse. An augmentation of the objective is introduced to decrease the computational cost. We apply deep unrolling to derive a novel deep network architecture based on our proposed algorithm, treating the regularization parameters as learnable weights. Inspired by Bayesian approaches, we extend the model architecture to perform online adaptation to per-flow and per-time-step statistics, improving AD performance while maintaining a low parameter count and preserving the problem’s permutation equivariances. To optimize the deep network weights for detection performance, we employ a homotopy optimization approach based on an efficient approximation of the area under the receiver operating characteristic curve. Extensive experiments on synthetic and real-world data demonstrate that our proposed deep network architecture exhibits a high training data efficiency, outperforms reference methods, and adapts seamlessly to varying network topologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google