Privacy Issues in Large Language Models: A Survey

要約

これは、大規模言語モデル (LLM) におけるプライバシー問題に焦点を当てた、AI 研究の活発な分野に関する初めての調査です。
具体的には、モデルをレッドチームにしてプライバシーのリスクを強調し、トレーニングまたは推論プロセスにプライバシーを組み込むことを試み、トレーニング済みのモデルから効率的にデータを削除して既存のプライバシー規制に準拠できるようにし、著作権の問題を軽減する作業に重点を置いています。
私たちは、アルゴリズムの開発、定理の証明、実証的評価を実行する技術研究を要約することに重点を置いています。
これらの課題に別の角度から対処する法律や政策の取り組みは数多くありますが、それは私たちの調査の焦点では​​ありません。
それにもかかわらず、これらの作業と最近の法的発展は、これらの技術的問題がどのように形式化されるかを明らかにするものであるため、セクション 1 で簡単に説明します。
この研究では、最近の研究を見逃している可能性があります。
私たちはこのアンケートを比較的最新の状態に保つよう努めますので、あなたの仕事の一部が欠けている場合は、私たちに連絡してください。
私たちは、この調査で取り上げられた論文のリストと、https://github.com/safr-ml-lab/survey-llm で公開されている関連コードを含むリポジトリを維持しています。

要約(オリジナル)

This is the first survey of the active area of AI research that focuses on privacy issues in Large Language Models (LLMs). Specifically, we focus on work that red-teams models to highlight privacy risks, attempts to build privacy into the training or inference process, enables efficient data deletion from trained models to comply with existing privacy regulations, and tries to mitigate copyright issues. Our focus is on summarizing technical research that develops algorithms, proves theorems, and runs empirical evaluations. While there is an extensive body of legal and policy work addressing these challenges from a different angle, that is not the focus of our survey. Nevertheless, these works, along with recent legal developments do inform how these technical problems are formalized, and so we discuss them briefly in Section 1. While we have made our best effort to include all the relevant work, due to the fast moving nature of this research we may have missed some recent work. If we have missed some of your work please contact us, as we will attempt to keep this survey relatively up to date. We are maintaining a repository with the list of papers covered in this survey and any relevant code that was publicly available at https://github.com/safr-ml-lab/survey-llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google