LatticeGen: A Cooperative Framework which Hides Generated Text in a Lattice for Privacy-Aware Generation on Cloud

要約

クラウド上の大規模言語モデル (LLM) によるプロンプト生成という現在のユーザーとサーバーの対話パラダイムでは、サーバーが生成プロセスを完全に制御するため、生成されたテキストを自分だけのものにしたいユーザーには選択肢がありません。
私たちは、ユーザーがサンプリング操作を制御しながらサーバーが計算の大部分を処理する協調フレームワークである LatticeGen を提案します。
重要なアイデアは、実際に生成されたシーケンスがユーザーによってノイズ トークンと混合され、ノイズのある格子の中に隠されるということです。
仮想的な悪意のあるサーバーからの潜在的な攻撃とユーザーがそれをどのように防御できるかを考慮して、反復ビーム検索攻撃と混合ノイズ方式を提案します。
私たちの実験では、プロンプトと生成の両方を保護するために LatticeGen を適用します。
ノイズのある格子は生成品質を低下させる一方で、LatticeGen は強力な攻撃下で真の生成を顕著な程度まで保護することに成功していることが示されています (BERTScore で測定した場合、セマンティクスの 50% 以上が隠蔽されたままです)。

要約(オリジナル)

In the current user-server interaction paradigm of prompted generation with large language models (LLM) on cloud, the server fully controls the generation process, which leaves zero options for users who want to keep the generated text to themselves. We propose LatticeGen, a cooperative framework in which the server still handles most of the computation while the user controls the sampling operation. The key idea is that the true generated sequence is mixed with noise tokens by the user and hidden in a noised lattice. Considering potential attacks from a hypothetically malicious server and how the user can defend against it, we propose the repeated beam-search attack and the mixing noise scheme. In our experiments we apply LatticeGen to protect both prompt and generation. It is shown that while the noised lattice degrades generation quality, LatticeGen successfully protects the true generation to a remarkable degree under strong attacks (more than 50% of the semantic remains hidden as measured by BERTScore).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google