Quantifying Association Capabilities of Large Language Models and Its Implications on Privacy Leakage

要約

大規模言語モデル (LLM) の進歩により、さまざまなアプリケーションにわたって顕著な改善がもたらされると同時に、プライベート データの漏洩の可能性についての懸念が生じています。
LLM の注目すべき機能の 1 つは、異なる情報間の関連付けを形成する機能ですが、これは個人を特定できる情報 (PII) に関して懸念を引き起こします。
この論文は、言語モデルの関連付け能力を詳しく掘り下げ、情報を関連付けることにおける言語モデルの習熟度に影響を与える要因を明らかにすることを目的としています。
私たちの研究では、モデルがスケールアップするにつれて、特にターゲット ペアの共起距離が短くなったり、共起頻度が高くなったりした場合に、エンティティ/情報を関連付ける能力が強化されることが明らかになりました。
ただし、常識的な知識と PII を関連付ける場合には明らかなパフォーマンスのギャップがあり、後者の方が精度が低いことが示されています。
正確に予測される PII の割合は比較的小さいにもかかわらず、LLM は、適切なプロンプトが提供された場合、電子メール アドレスと電話番号の特定のインスタンスを予測する機能を示しています。
これらの調査結果は、LLM の能力の進化、特に LLM の規模と権限が拡大し続けることによって、PII 機密性に対する潜在的なリスクがもたらされることを強調しています。

要約(オリジナル)

The advancement of large language models (LLMs) brings notable improvements across various applications, while simultaneously raising concerns about potential private data exposure. One notable capability of LLMs is their ability to form associations between different pieces of information, but this raises concerns when it comes to personally identifiable information (PII). This paper delves into the association capabilities of language models, aiming to uncover the factors that influence their proficiency in associating information. Our study reveals that as models scale up, their capacity to associate entities/information intensifies, particularly when target pairs demonstrate shorter co-occurrence distances or higher co-occurrence frequencies. However, there is a distinct performance gap when associating commonsense knowledge versus PII, with the latter showing lower accuracy. Despite the proportion of accurately predicted PII being relatively small, LLMs still demonstrate the capability to predict specific instances of email addresses and phone numbers when provided with appropriate prompts. These findings underscore the potential risk to PII confidentiality posed by the evolving capabilities of LLMs, especially as they continue to expand in scale and power.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google