Privacy in Large Language Models: Attacks, Defenses and Future Directions

要約

大規模言語モデル (LLM) の進歩により、さまざまな下流の NLP タスクに効果的に取り組み、これらのタスクを生成パイプラインに統合する能力が大幅に強化されました。
一方で、大量のテキスト データでトレーニングされた強力な言語モデルは、モデルとユーザーの両方に比類のないアクセシビリティと使いやすさをもたらしました。
一方で、これらのモデルへの無制限のアクセスは、潜在的な悪意のある意図的でないプライバシー リスクを引き起こす可能性もあります。
LLM に関連する安全性とプライバシーの問題に対処するための継続的な取り組みにもかかわらず、問題は未解決のままです。
このペーパーでは、LLM をターゲットとした現在のプライバシー攻撃の包括的な分析を提供し、敵対者の想定される能力に従って攻撃を分類して、LLM に存在する潜在的な脆弱性を明らかにします。
次に、これらのプライバシー攻撃に対抗するために開発された主要な防御戦略の詳細な概要を示します。
既存の取り組みにとどまらず、LLM の進化に伴い今後発生するプライバシー上の懸念も特定します。
最後に、将来の探求に向けた可能性のあるいくつかの道を指摘します。

要約(オリジナル)

The advancement of large language models (LLMs) has significantly enhanced the ability to effectively tackle various downstream NLP tasks and unify these tasks into generative pipelines. On the one hand, powerful language models, trained on massive textual data, have brought unparalleled accessibility and usability for both models and users. On the other hand, unrestricted access to these models can also introduce potential malicious and unintentional privacy risks. Despite ongoing efforts to address the safety and privacy concerns associated with LLMs, the problem remains unresolved. In this paper, we provide a comprehensive analysis of the current privacy attacks targeting LLMs and categorize them according to the adversary’s assumed capabilities to shed light on the potential vulnerabilities present in LLMs. Then, we present a detailed overview of prominent defense strategies that have been developed to counter these privacy attacks. Beyond existing works, we identify upcoming privacy concerns as LLMs evolve. Lastly, we point out several potential avenues for future exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google