Lens: A Foundation Model for Network Traffic

要約

ネットワーク トラフィックとは、インターネットまたはコンピュータに接続するシステム上で送受信されるデータの量を指します。
ネットワークのセキュリティと管理を向上させるには、ネットワーク トラフィックの分析と理解が不可欠です。
ただし、データ パケットの性質が多様であるため、ネットワーク トラフィックの分析は困難です。データ パケットには、異種ヘッダーやセマンティクスが欠けている暗号化されたペイロードが含まれることがよくあります。
トラフィックの潜在的なセマンティクスを捕捉するために、いくつかの研究では、Transformer エンコーダまたはデコーダに基づく事前トレーニング技術を採用して、大量のトラフィック データから表現を学習しました。
ただし、これらの方法は通常、トラフィックの理解 (分類) またはトラフィック生成タスクに優れています。
この問題に対処するために、T5 アーキテクチャを利用して大規模なラベルのないデータから事前トレーニングされた表現を学習するネットワーク トラフィックの基礎モデルである Lens を開発しました。
生成能力を維持しながらグローバル情報をキャプチャするエンコーダー/デコーダー フレームワークの強みを利用して、私たちのモデルは生データから表現をより適切に学習できます。
事前トレーニングの有効性をさらに高めるために、マスク スパン予測 (MSP)、パケット順序予測 (POP)、および相同トラフィック予測 (HTP) という 3 つの異なるタスクを組み合わせた新しい損失を設計します。
さまざまなベンチマーク データセットにわたる評価結果は、提案されたレンズがトラフィックの理解と生成の両方に関連するほとんどの下流タスクでベースラインを上回るパフォーマンスを示していることを示しています。
特に、現在の方法と比較して、微調整に必要なラベル付きデータがはるかに少なくなります。

要約(オリジナル)

Network traffic refers to the amount of data being sent and received over the internet or any system that connects computers. Analyzing and understanding network traffic is vital for improving network security and management. However, the analysis of network traffic is challenging due to the diverse nature of data packets, which often feature heterogeneous headers and encrypted payloads lacking semantics. To capture the latent semantics of traffic, a few studies have adopted pre-training techniques based on the Transformer encoder or decoder to learn the representations from massive traffic data. However, these methods typically excel in traffic understanding (classification) or traffic generation tasks. To address this issue, we develop Lens, a foundation model for network traffic that leverages the T5 architecture to learn the pre-trained representations from large-scale unlabeled data. Harnessing the strength of the encoder-decoder framework, which captures the global information while preserving the generative ability, our model can better learn the representations from raw data. To further enhance pre-training effectiveness, we design a novel loss that combines three distinct tasks: Masked Span Prediction (MSP), Packet Order Prediction (POP), and Homologous Traffic Prediction (HTP). Evaluation results across various benchmark datasets demonstrate that the proposed Lens outperforms the baselines in most downstream tasks related to both traffic understanding and generation. Notably, it also requires much less labeled data for fine-tuning compared to current methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google