Split-and-Denoise: Protect large language model inference with local differential privacy

要約

大規模言語モデル (LLM) は、ベクトル空間で隠れた意味論を捕捉することにより、自然言語理解における強力な機能を示します。
このプロセスにより、さまざまな下流タスクに対するテキスト埋め込みの価値が高まり、それによってサービスとしての埋め込み (EaaS) ビジネス モデルが促進されます。
ただし、テキストをサーバーに直接送信すると、ほとんど対処されていないプライバシー漏洩のリスクが生じます。
この問題を軽減するために、モデルを分割してクライアント側のトークン埋め込み層を最小限の計算コストで実行する革新的なフレームワークである Split-N-Denoise (SnD) を導入します。
これにより、クライアントはエンベディングをサーバーに送信する前にノイズを導入し、その後ダウンストリーム タスクのために摂動された出力エンベディングを受信して​​ノイズを除去することができます。
私たちのアプローチは LLM の推論段階向けに設計されており、モデル パラメーターを変更する必要はありません。
広範な実験により、さまざまな LLM アーキテクチャおよびさまざまな下流タスクにわたるプライバシーとユーティリティのトレードオフの最適化における SnD の有効性が実証されています。
その結果、ベースラインと比較して、同じプライバシー バジェットの下でパフォーマンスが大幅に向上し、クライアントにローカル プライバシー保護のためのプライバシー保護ソリューションを提供できることが明らかになりました。

要約(オリジナル)

Large Language Models (LLMs) shows powerful capability in natural language understanding by capturing hidden semantics in vector space. This process enriches the value of the text embeddings for various downstream tasks, thereby fostering the Embedding-as-a-Service (EaaS) business model. However, the direct transmission of text to servers poses a largely unaddressed risk of privacy leakage. To mitigate this issue, we introduce Split-N-Denoise (SnD), an innovative framework that split the model to execute the token embedding layer on the client side at minimal computational cost. This allows the client to introduce noise prior to transmitting the embeddings to the server, and subsequently receive and denoise the perturbed output embeddings for downstream tasks. Our approach is designed for the inference stage of LLMs and requires no modifications to the model parameters. Extensive experiments demonstrate SnD’s effectiveness in optimizing the privacy-utility tradeoff across various LLM architectures and diverse downstream tasks. The results reveal a significant performance improvement under the same privacy budget compared to the baseline, offering clients a privacy-preserving solution for local privacy protection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google