Pathway to Secure and Trustworthy ZSM for LLMs: Attacks, Defense, and Opportunities

要約

最近、大規模言語モデル (LLM) は、通信ネットワークなどの新興アプリケーションにおける適応性と拡張性により、大きな関心を集めています。
ZSM ネットワークは、非常に信頼性の高い低遅延通信と閉ループの大規模接続を提供するため、LLM をサービスとしてサポートできるようになると予想されます。
ただし、LLM はデータとモデルのプライバシーの問題に対して脆弱であり、ユーザーベースのサービスに展開される LLM の信頼性に影響します。
このペーパーでは、ZSM ネットワークにおける LLM の微調整に関連するセキュリティの脆弱性、特にメンバーシップ推論攻撃について調査します。
攻撃者が下流タスクの微調整されたモデルにアクセスできる場合に、メンバーシップ推論攻撃を実行できる攻撃ネットワークの特性を定義します。
メンバーシップ推論攻撃は、LLM をサービスとして使用するときに個人データ侵害につながる可能性がある、あらゆるダウンストリーム タスクに対して有効であることを示します。
実験結果は、固有表現認識タスクで最大 92% の攻撃成功率を達成できることを示しています。
実験分析に基づいて、考えられる防御メカニズムについて議論し、ZSM ネットワークのコンテキストで LLM の信頼性を高めるための考えられる研究の方向性を示します。

要約(オリジナル)

Recently, large language models (LLMs) have been gaining a lot of interest due to their adaptability and extensibility in emerging applications, including communication networks. It is anticipated that ZSM networks will be able to support LLMs as a service, as they provide ultra reliable low-latency communications and closed loop massive connectivity. However, LLMs are vulnerable to data and model privacy issues that affect the trustworthiness of LLMs to be deployed for user-based services. In this paper, we explore the security vulnerabilities associated with fine-tuning LLMs in ZSM networks, in particular the membership inference attack. We define the characteristics of an attack network that can perform a membership inference attack if the attacker has access to the fine-tuned model for the downstream task. We show that the membership inference attacks are effective for any downstream task, which can lead to a personal data breach when using LLM as a service. The experimental results show that the attack success rate of maximum 92% can be achieved on named entity recognition task. Based on the experimental analysis, we discuss possible defense mechanisms and present possible research directions to make the LLMs more trustworthy in the context of ZSM networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google