Differentially Private Attention Computation

要約

大規模言語モデル (LLM)、特に Transformer アーキテクチャに基づくモデルは、自然言語処理、コンテンツ生成、研究手法など、日常生活のさまざまな側面に大きな影響を与えています。
それにもかかわらず、大規模な言語モデルの推論結果に関する重大な懸念は、セキュリティとプライバシーの問題です。
大規模な言語モデルでは、多くのシナリオで機密情報や著作権情報が漏洩する可能性のある結果が生成される可能性があることを考慮すると、必要なのは注意だけであるため、証明可能なプライバシー保証を備えた注意マトリックスを計算することが重要です。
この研究では、差分プライバシー (DP) を保証しながらアテンション マトリックスを近似するための新規で効率的なアルゴリズムを提案します。
これを達成するために、高速アテンション計算と差分プライベート行列パブリッシングにおける最近の進歩を基盤としています。

要約(オリジナル)

Large language models (LLMs), especially those based on the Transformer architecture, have had a profound impact on various aspects of daily life, such as natural language processing, content generation, research methodologies, and more. Nevertheless, a crucial concern regarding the inference results of large language models is the issue of security and privacy. Given that large language models can generate results that may leak sensitive confidential or copyright information in many scenarios, it is crucial to compute the attention matrix with provable privacy guarantees, as attention is all you need. In this work, we propose a novel and efficient algorithm for approximating the attention matrix while providing differential privacy (DP) guarantees. To achieve this, we build on recent advancements in fast attention computation and differentially private matrix publishing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google