Token-Level Privacy in Large Language Models

要約

言語モデルをリモートサービスとして使用するには、個人情報を外部プロバイダーに送信する必要があり、大きなプライバシーの懸念を引き起こします。
このプロセスは、機密データを信頼されていないサービスプロバイダーにさらすリスクがあるだけでなく、盗聴者による傍受に対して脆弱なままになります。
自然言語処理（NLP）の相互作用のための既存のプライバシー普及方法は、主にセマンティックな類似性に依存しており、コンテキスト情報の役割を見下ろしています。
この作業では、DCHIステンシルを紹介します。これは、DCHIの差動プライバシーフレームワークの下で強力なプライバシー保証を確保し、2EPSILON-DCHI-PRIVACYを達成しながら、コンテキストおよびセマンティック情報を統合する新しいトークンレベルのプライバシーを提供するメカニズムです。
セマンティックとコンテキストの両方のニュアンスを組み込むことにより、DCHI-Stencilはプライバシーとユーティリティの間の堅牢なバランスを達成します。
最先端の言語モデルと多様なデータセットを使用してDCHIステンシルを評価し、既存の方法と比較して、ユーティリティとプライバシーの間で同等かつさらに良いトレードオフを達成します。
この作業は、DCHIステンシルが最新のハイリスクアプリケーションでプライバシーを提供するNLPの新しい基準を設定する可能性を強調しています。

要約(オリジナル)

The use of language models as remote services requires transmitting private information to external providers, raising significant privacy concerns. This process not only risks exposing sensitive data to untrusted service providers but also leaves it vulnerable to interception by eavesdroppers. Existing privacy-preserving methods for natural language processing (NLP) interactions primarily rely on semantic similarity, overlooking the role of contextual information. In this work, we introduce dchi-stencil, a novel token-level privacy-preserving mechanism that integrates contextual and semantic information while ensuring strong privacy guarantees under the dchi differential privacy framework, achieving 2epsilon-dchi-privacy. By incorporating both semantic and contextual nuances, dchi-stencil achieves a robust balance between privacy and utility. We evaluate dchi-stencil using state-of-the-art language models and diverse datasets, achieving comparable and even better trade-off between utility and privacy compared to existing methods. This work highlights the potential of dchi-stencil to set a new standard for privacy-preserving NLP in modern, high-risk applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google