Special Characters Attack: Toward Scalable Training Data Extraction From Large Language Models

要約

大規模言語モデル (LLM) は、幅広いタスクで顕著なパフォーマンスを達成しました。
ただし、最近の研究では、LLM がトレーニング データを記憶することができ、単純なトークンの繰り返しによってモデルが騙されてデータが漏洩する可能性があることが示されています。
この論文では、さらに一歩進んで、特定の特殊文字またはその特殊文字と英文字の組み合わせが強力なメモリ トリガーとなり、より深刻なデータ漏洩につながることを示します。
直感的には、LLM は大量の特殊文字 (JSON ファイルの構造記号 {、}、電子メールやオンライン投稿の @、# など) を含む大量のデータを使用してトレーニングされるため、モデルは共起を記憶する可能性があると考えられます。
これらの特殊文字と生のテキストの間。
これをきっかけに、トレーニング データの漏洩を誘発するための、シンプルだが効果的な特殊文字攻撃 (SCA) を提案することにしました。
私たちの実験では、最先端の LLM に対する SCA の高い有効性が検証されています。LLM はコード コーパス、Web ページ、個人識別情報などのさまざまなトレーニング データを漏洩する可能性があり、副産物としてノンストップの出力を生成する場合もあります。
さらに、漏洩データを検査することでトレーニング データ コーパスの構成を明らかにできることを示します。これは、高性能 LLM を事前トレーニングするための重要な情報の 1 つです。
私たちの取り組みは、LLM の特殊文字に対する敏感さを理解し、改善の余地がある領域を特定するのに役立ちます。

要約(オリジナル)

Large language models (LLMs) have achieved remarkable performance on a wide range of tasks. However, recent studies have shown that LLMs can memorize training data and simple repeated tokens can trick the model to leak the data. In this paper, we take a step further and show that certain special characters or their combinations with English letters are stronger memory triggers, leading to more severe data leakage. The intuition is that, since LLMs are trained with massive data that contains a substantial amount of special characters (e.g. structural symbols {, } of JSON files, and @, # in emails and online posts), the model may memorize the co-occurrence between these special characters and the raw texts. This motivates us to propose a simple but effective Special Characters Attack (SCA) to induce training data leakage. Our experiments verify the high effectiveness of SCA against state-of-the-art LLMs: they can leak diverse training data, such as code corpus, web pages, and personally identifiable information, and sometimes generate non-stop outputs as a byproduct. We further show that the composition of the training data corpus can be revealed by inspecting the leaked data — one crucial piece of information for pre-training high-performance LLMs. Our work can help understand the sensitivity of LLMs to special characters and identify potential areas for improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google