Extensible Machine Learning for Encrypted Network Traffic Application Labeling via Uncertainty Quantification

要約

暗号化されたネットワーク トラフィックの普及に伴い、サイバー セキュリティ アナリストは、ネットワーク上のトラフィックを解明するために機械学習 (ML) 手法に目を向けています。
ただし、トレーニング セットの分布外にある新しいトラフィックが発生すると、ML モデルが古くなる可能性があります。
この動的な環境に確実に適応するために、ML モデルは、コンテキスト化された不確実性の定量化を予測に追加で提供する必要がありますが、これはサイバー セキュリティ ドメインではほとんど注目されていません。
不確実性の定量化は、ラベルの割り当てで選択するクラスについてモデルが不確かな場合と、トラフィックが事前トレーニング済みのクラスに属していない可能性がある場合の両方を知らせるために必要です。
10 個のアプリケーションによって生成され、5 つのアプリケーション カテゴリに対応するラベル付きの仮想プライベート ネットワーク (VPN) で暗号化されたネットワーク トラフィックを含む、ネットワーク トラフィックの新しいパブリック データセットを提示します。
また、適度なデータ要件で迅速にトレーニングし、調整された予測確率と解釈可能な「分布外」(OOD) スコアの両方を提供して、新しいトラフィック サンプルにフラグを付けるように設計された ML フレームワークも提示します。
相対マハラノビス距離の p 値を使用した OOD スコアのキャリブレーションについて説明します。
フレームワークがデータセットで 0.98 の F1 スコアを達成し、モデルをテストすることでエンタープライズ ネットワークに拡張できることを示します。(1) 同様のアプリケーションからのデータ、(2) 既存のカテゴリからの異なるアプリケーション トラフィック、および
(3) 新しいカテゴリからのアプリケーション トラフィックについて。
モデルは不確実なトラフィックに正しくフラグを立て、再トレーニング時に新しいデータを正確に組み込みます。

要約(オリジナル)

With the increasing prevalence of encrypted network traffic, cyber security analysts have been turning to machine learning (ML) techniques to elucidate the traffic on their networks. However, ML models can become stale as new traffic emerges that is outside of the distribution of the training set. In order to reliably adapt in this dynamic environment, ML models must additionally provide contextualized uncertainty quantification to their predictions, which has received little attention in the cyber security domain. Uncertainty quantification is necessary both to signal when the model is uncertain about which class to choose in its label assignment and when the traffic is not likely to belong to any pre-trained classes. We present a new, public dataset of network traffic that includes labeled, Virtual Private Network (VPN)-encrypted network traffic generated by 10 applications and corresponding to 5 application categories. We also present an ML framework that is designed to rapidly train with modest data requirements and provide both calibrated, predictive probabilities as well as an interpretable ‘out-of-distribution’ (OOD) score to flag novel traffic samples. We describe calibrating OOD scores using p-values of the relative Mahalanobis distance. We demonstrate that our framework achieves an F1 score of 0.98 on our dataset and that it can extend to an enterprise network by testing the model: (1) on data from similar applications, (2) on dissimilar application traffic from an existing category, and (3) on application traffic from a new category. The model correctly flags uncertain traffic and, upon retraining, accurately incorporates the new data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google