Differentially Private Attention Computation

要約

タイトル：差分プライバシーを用いた注意機能計算

要約：
– 大型言語モデル（LLM）は、自然言語処理、コンテンツ生成、研究方法論など、多岐にわたる日常生活に多大な影響を与えている。
– しかし、LLMの推論結果に関する一つの重要な問題は、セキュリティとプライバシーである。
– LLMによって生成される結果は、多くの機密情報や著作権情報を漏洩する可能性がある。
– [Vyas、Kakade、およびBarak 2023]は、LLMのプライバシー問題に理論的な観点から注目している。
– 従って、注意行列の計算はLLMの計算の主要なタスクの一つであり、注意行列の計算をプライバシー保証付きで行う方法は重要な研究方向である。
– [Alman and Song 2023、Brand、Song、およびZhou 2023]は、プライバシーに関する懸念を考慮せずに注意計算の高速計算の証明可能な結果を提案してきた。
– 差分プライバシーは、理論的なコンピュータ科学大学院の教科書でプライバシーを定量化するための自然な数学的定式化である。
– 本研究は、[Vyas、Kakade、およびBarak 2023]のインスピレーションに基づいて、注意行列を差分プライバシーで近似する証明可能な結果を提供する。
– 技術的観点から見ると、本研究の結果は、差分プライバシーの分野の先駆的な研究[Alabi、Kothari、Tankala、Venkat、およびZhang 2022]に基づいている。

要約(オリジナル)

Large language models (LLMs) have had a profound impact on numerous aspects of daily life including natural language processing, content generation, research methodologies and so on. However, one crucial issue concerning the inference results of large language models is security and privacy. In many scenarios, the results generated by LLMs could possibly leak many confidential or copyright information. A recent beautiful and breakthrough work [Vyas, Kakade and Barak 2023] focus on such privacy issue of the LLMs from theoretical perspective. It is well-known that computing the attention matrix is one of the major task during the LLMs computation. Thus, how to give a provable privately guarantees of computing the attention matrix is an important research direction. Previous work [Alman and Song 2023, Brand, Song and Zhou 2023] have proposed provable tight result for fast computation of attention without considering privacy concerns. One natural mathematical formulation to quantity the privacy in theoretical computer science graduate school textbook is differential privacy. Inspired by [Vyas, Kakade and Barak 2023], in this work, we provide a provable result for showing how to differentially private approximate the attention matrix. From technique perspective, our result replies on a pioneering work in the area of differential privacy by [Alabi, Kothari, Tankala, Venkat and Zhang 2022].

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI