Privacy Risks of Speculative Decoding in Large Language Models

要約

大規模言語モデル (LLM) での投機的デコードは、複数のトークンを投機的に予測し、それらを並行して検証することでトークンの生成を高速化し、広く導入されています。
この論文では、投機的復号化のプライバシー リスクを実証する最初の研究を提供します。
私たちは、正しい予測と誤った予測の入力依存のパターンが、トークンの生成時間とパケット サイズを監視する攻撃者に漏洩し、プライバシー侵害につながる可能性があることを観察しています。
正しく推測されたトークンと誤って推測されたトークンのパターンを観察することにより、悪意のある攻撃者がクエリのフィンガープリントを取得し、REST (ほぼ $100\%$ の精度)、
LADE (最大 $92\%$ の精度)、および BiLD (最大 $95\%$ の精度)。
私たちは、攻撃者が、1 秒あたり 25 ドルを超える速度で (REST で) 予測に使用されるデータ ストアからのデータや、使用されるハイパー パラメーターなど、これらの技術の設計に使用される機密の知的財産を漏洩する可能性があることを示します。
予測用 (LADE)。
また、このようなプライバシーや機密性の侵害を回避するために、複数の反復にわたってトークンを集約したり、パケットに追加のバイトをパディングしたりするなどの緩和戦略についても説明します。

要約(オリジナル)

Speculative decoding in large language models (LLMs) accelerates token generation by speculatively predicting multiple tokens cheaply and verifying them in parallel, and has been widely deployed. In this paper, we provide the first study demonstrating the privacy risks of speculative decoding. We observe that input-dependent patterns of correct and incorrect predictions can be leaked out to an adversary monitoring token generation times and packet sizes, leading to privacy breaches. By observing the pattern of correctly and incorrectly speculated tokens, we show that a malicious adversary can fingerprint queries and learn private user inputs with more than $90\%$ accuracy across three different speculative decoding techniques – REST (almost $100\%$ accuracy), LADE (up to $92\%$ accuracy), and BiLD (up to $95\%$ accuracy). We show that an adversary can also leak out confidential intellectual property used to design these techniques, such as data from data-stores used for prediction (in REST) at a rate of more than $25$ tokens per second, or even hyper-parameters used for prediction (in LADE). We also discuss mitigation strategies, such as aggregating tokens across multiple iterations and padding packets with additional bytes, to avoid such privacy or confidentiality breaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google