Towards a graph-based foundation model for network traffic analysis

要約

財団モデルはさまざまな研究分野で大きな期待を集めています。
このようなモデルの潜在的な用途はコンピューター ネットワーク トラフィック分析であり、これらのモデルはネットワーク トラフィック ダイナミクスの複雑さを把握し、最小限の微調整で特定のタスクやネットワーク環境に適応できます。
これまでのアプローチでは、トークン化された 16 進レベルのパケット データと大規模な言語トランスフォーマー モデルのモデル アーキテクチャが使用されていました。
私たちは、フローレベルでの新しい効率的なグラフベースの代替案を提案します。
私たちのアプローチは、ネットワーク トラフィックを動的な時空間グラフとして表し、自己教師ありリンク予測事前トレーニング タスクを使用して、このネットワーク グラフ フレームワークの時空間ダイナミクスをキャプチャします。
私たちのアプローチの有効性を評価するために、侵入検知、トラフィック分類、ボットネット分類という 3 つの異なるダウンストリーム ネットワーク タスクに対して数ショット学習実験を実施します。
事前トレーニングされたベースから微調整されたモデルは、最初からトレーニングした場合と比べて平均 6.87% のパフォーマンス向上を達成し、事前トレーニング中に一般的なネットワーク トラフィック ダイナミクスを効果的に学習できる能力を示しています。
この成功は、大規模バージョンが運用の基礎モデルとして機能する可能性を示唆しています。

要約(オリジナル)

Foundation models have shown great promise in various fields of study. A potential application of such models is in computer network traffic analysis, where these models can grasp the complexities of network traffic dynamics and adapt to any specific task or network environment with minimal fine-tuning. Previous approaches have used tokenized hex-level packet data and the model architecture of large language transformer models. We propose a new, efficient graph-based alternative at the flow-level. Our approach represents network traffic as a dynamic spatio-temporal graph, employing a self-supervised link prediction pretraining task to capture the spatial and temporal dynamics in this network graph framework. To evaluate the effectiveness of our approach, we conduct a few-shot learning experiment for three distinct downstream network tasks: intrusion detection, traffic classification, and botnet classification. Models finetuned from our pretrained base achieve an average performance increase of 6.87\% over training from scratch, demonstrating their ability to effectively learn general network traffic dynamics during pretraining. This success suggests the potential for a large-scale version to serve as an operational foundational model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google