Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions

要約

大規模言語モデル (LLM) は、人工知能の大幅な進歩を表し、さまざまなドメインにわたるアプリケーションを見つけます。
ただし、トレーニングのためにインターネットから取得した大規模なデータセットに依存しているため、顕著なプライバシー問題が発生しており、重要な領域 (医療など) ではさらに問題が悪化しています。
さらに、特定のアプリケーション固有のシナリオでは、プライベート データに基づいてこれらのモデルを微調整する必要がある場合があります。
この調査では、LLM に関連するプライバシーの脅威を批判的に調査し、これらのモデルが機密情報を記憶し、誤って公開してしまう可能性を強調しています。
私たちは、LLM に対するプライバシー攻撃をレビューすることで現在の脅威を調査し、学習パイプライン全体にプライバシー メカニズムを統合するための包括的なソリューションを提案します。
これらのソリューションは、トレーニング データセットの匿名化から、トレーニングまたは推論中の差分プライバシーの実装、トレーニング後の機械のアンラーニングまで多岐にわたります。
既存の文献を包括的にレビューすることで、LLM におけるプライバシーを保護するための現在進行中の課題、利用可能なツール、および将来の方向性を明らかにしています。
この取り組みは、プライバシー保護方法とリスク軽減におけるその有効性を徹底的に理解することで、より安全で信頼できる AI システムの開発を導くことを目的としています。

要約(オリジナル)

Large Language Models (LLMs) represent a significant advancement in artificial intelligence, finding applications across various domains. However, their reliance on massive internet-sourced datasets for training brings notable privacy issues, which are exacerbated in critical domains (e.g., healthcare). Moreover, certain application-specific scenarios may require fine-tuning these models on private data. This survey critically examines the privacy threats associated with LLMs, emphasizing the potential for these models to memorize and inadvertently reveal sensitive information. We explore current threats by reviewing privacy attacks on LLMs and propose comprehensive solutions for integrating privacy mechanisms throughout the entire learning pipeline. These solutions range from anonymizing training datasets to implementing differential privacy during training or inference and machine unlearning after training. Our comprehensive review of existing literature highlights ongoing challenges, available tools, and future directions for preserving privacy in LLMs. This work aims to guide the development of more secure and trustworthy AI systems by providing a thorough understanding of privacy preservation methods and their effectiveness in mitigating risks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google