TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation

要約

セマンティック感情分析やテキスト合成などの自然言語処理（NLP）操作は、しばしばプライバシーの懸念を引き起こし、デバイス上で大きな計算リソースを必要とする。エッジでの集中学習（CL）はエネルギー効率の良い代替手段を提供するが、生データを収集する必要があり、ユーザーのプライバシーを損なう。統合学習（FL）はプライバシーを向上させるが、リソースに制約のあるデバイスに高い計算エネルギーを要求する。我々は、エネルギー効率に優れ、プライバシーを保持するタイニーマシンラーニング（TinyML）フレームワークとしてスプリットラーニング（SL）を導入し、レイリーフェージングと加法性ノイズの存在下でFLとCLと比較する。その結果、SLはFLと比較して再構成誤差が4倍、CLと比較して18倍近く増加することから明らかなように、プライバシーを向上させながら計算量とCO2排出量を大幅に削減できることが示された。対照的に、FLはプライバシーと効率の間でバランスの取れたトレードオフを提供する。本研究は、プライバシーを保護し、エネルギー効率に優れたNLPモデルをエッジデバイスに展開するための知見を提供する。

要約(オリジナル)

Natural Language Processing (NLP) operations, such as semantic sentiment analysis and text synthesis, often raise privacy concerns and demand significant on-device computational resources. Centralized Learning (CL) on the edge provides an energy-efficient alternative but requires collecting raw data, compromising user privacy. While Federated Learning (FL) enhances privacy, it imposes high computational energy demands on resource-constrained devices. We introduce Split Learning (SL) as an energy-efficient, privacy-preserving Tiny Machine Learning (TinyML) framework and compare it to FL and CL in the presence of Rayleigh fading and additive noise. Our results show that SL significantly reduces computational power and CO2 emissions while enhancing privacy, as evidenced by a fourfold increase in reconstruction error compared to FL and nearly eighteen times that of CL. In contrast, FL offers a balanced trade-off between privacy and efficiency. This study provides insights into deploying privacy-preserving, energy-efficient NLP models on edge devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL