netFound: Foundation Model for Network Security

要約

ネットワークセキュリティにおける異なる学習問題のための一般化可能なMLベースのソリューションの開発が非常に望まれます。
ただし、ネットワークセキュリティにMLを適用した豊富な歴史にもかかわらず、ほとんどの既存のソリューションには一般化可能性がありません。
この進歩の欠如は、監督された学習技術に依存していることと、明確に指定されたラベル付きトレーニングデータをキュレーションすることの関連する課題に起因する可能性があります。
このペーパーでは、新しいトランスベースのネットワークファンデーションモデルNetFoundを導入することにより、基本的なギャップに対処します。
トレーニング前の豊富でラベル付けされたネットワークテレメトリデータに関する自己監視学習技術を採用しています。
この事前に守られたモデルは、一般的に利用可能であるが挑戦的なラベル付きデータセットを使用している場合でも、異なる学習タスクのための一般化可能な学習アーティファクトを作成するために微調整できます。
この目標を実現するために、ネットファウンドは、マルチモーダル埋め込み、プロトコル認識トークン化、データ駆動型トークン組成、および階層変圧器を開発することにより、ネットワークデータ（パケットトレース）に固有のさまざまなドメイン固有の属性と制約を活用します。
私たちの結果は、NetFoundのドメイン固有の設計の選択により、（1）生産設定で隠されたネットワークコンテキストを効果的にキャプチャすることを保証することを示しています。
および学習ショートカット – 実際の設定で一般化可能なMLモデルを開発するために重要です。

要約(オリジナル)

Developing generalizable ML-based solutions for disparate learning problems in network security is highly desired. However, despite a rich history of applying ML to network security, most existing solutions lack generalizability. This lack of progress can be attributed to an overreliance on supervised learning techniques and the associated challenges of curating well-specified labeled training data. This paper addresses a fundamental gap by introducing a novel transformer-based network foundation model, netFound. We employ self-supervised learning techniques on abundant, unlabeled network telemetry data for pre-training. This pretrained model can subsequently be fine-tuned to create generalizable learning artifacts for disparate learning tasks, even when using commonly available but challenging labeled datasets that are sparse, noisy, and skewed. To realize this goal, netFound leverages various domain-specific attributes and constraints unique to network data (packet traces) by developing multi-modal embeddings, protocol-aware tokenization, data-driven token composition, and hierarchical transformers. Our results demonstrate that netFound’s domain-specific design choices ensure that it (1) effectively captures the hidden networking context in production settings, (2) outperforms four different SOTA methods on five different learning tasks, and (3) is robust to both noisy labels and learning shortcuts — critical for developing generalizable ML models in practical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google