Efficient Federated Learning Tiny Language Models for Mobile Network Feature Prediction

要約

通信では、自律ネットワーク（ANS）は、特定の要件（帯域幅など）と利用可能なリソースに基づいて構成を自動的に調整します。
これらのネットワークは、自己最適化、自己修復、および自己保護のための継続的な監視とインテリジェントなメカニズムに依存しています。最近では、予測モデリングとパターン認識を可能にするために、ニューラルネットワーク（NNS）によって強化されています。
ここでは、Federated Learning（FL）により、データプライバシーを維持しながら、それぞれNNSを装備した複数のANセル（NNSを装備している）がモデルを協力して訓練できます。
ただし、FLには大規模な神経データの頻繁な伝播が必要であり、信頼できるコミュニケーションのための効率的で標準化された圧縮戦略が必要です。
これに対処するために、さまざまなモバイルネットワーク機能予測（Ping、SNR、またはバンドの周波数など）に小さな言語モデル（TLMS）を統合する新しいFLフレームワーク内で、ISO/IECニューラルネットワークコーディング（NNC）標準のフラウンホーファー実装であるNNCodecを調査します。
ベルリンV2Xデータセットでの実験結果は、NNCODECが通信オーバーヘッドを1％未満に減らしながら、透明な圧縮（つまり、無視できるパフォーマンスの損失）を達成し、協調して学習した自律モバイルネットワークでFLとFLと組み合わせることの有効性を示していることを示しています。

要約(オリジナル)

In telecommunications, Autonomous Networks (ANs) automatically adjust configurations based on specific requirements (e.g., bandwidth) and available resources. These networks rely on continuous monitoring and intelligent mechanisms for self-optimization, self-repair, and self-protection, nowadays enhanced by Neural Networks (NNs) to enable predictive modeling and pattern recognition. Here, Federated Learning (FL) allows multiple AN cells – each equipped with NNs – to collaboratively train models while preserving data privacy. However, FL requires frequent transmission of large neural data and thus an efficient, standardized compression strategy for reliable communication. To address this, we investigate NNCodec, a Fraunhofer implementation of the ISO/IEC Neural Network Coding (NNC) standard, within a novel FL framework that integrates tiny language models (TLMs) for various mobile network feature prediction (e.g., ping, SNR or band frequency). Our experimental results on the Berlin V2X dataset demonstrate that NNCodec achieves transparent compression (i.e., negligible performance loss) while reducing communication overhead to below 1%, showing the effectiveness of combining NNC with FL in collaboratively learned autonomous mobile networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google