Beyond Memorization: Violating Privacy Via Inference with Large Language Models

要約

大規模言語モデル（LLM）に関する現在のプライバシー研究は、主に記憶された学習データを抽出する問題に焦点を当てている。その一方で、モデルの推論能力は飛躍的に向上している。このことは、現在のLLMが、推論時に与えられたテキストから個人属性を推論することによって、個人のプライバシーを侵害する可能性があるかどうかという重要な問題を提起している。本研究では、事前学習されたLLMがテキストから個人属性を推論する能力に関する初の包括的研究を行う。我々は、実際のRedditプロフィールからなるデータセットを構築し、現在のLLMが幅広い個人属性（例えば、場所、収入、性別）を推論でき、人間が必要とするコスト（$100times$）と時間（$240times$）のほんの一部で、最高$85%$トップ1と$95%$トップ3の精度を達成できることを示す。人々が生活のあらゆる場面でLLMを搭載したチャットボットと対話する機会が増えているため、一見良さそうに見える質問を通して個人情報を引き出そうとするプライバシー侵害チャットボットの新たな脅威についても調査します。最後に、一般的な緩和策、すなわちテキストの匿名化やモデルの整列は、LLM推論からユーザーのプライバシーを保護する上で、現在のところ効果がないことを示す。我々の発見は、現在のLLMが以前には達成できなかった規模で個人データを推論できることを強調している。実用的な防御策がない中、我々は、LLMのプライバシーへの影響について、より広範な議論を行い、より広範なプライバシー保護に努めることを提唱する。

要約(オリジナル)

Current privacy research on large language models (LLMs) primarily focuses on the issue of extracting memorized training data. At the same time, models’ inference capabilities have increased drastically. This raises the key question of whether current LLMs could violate individuals’ privacy by inferring personal attributes from text given at inference time. In this work, we present the first comprehensive study on the capabilities of pretrained LLMs to infer personal attributes from text. We construct a dataset consisting of real Reddit profiles, and show that current LLMs can infer a wide range of personal attributes (e.g., location, income, sex), achieving up to $85\%$ top-1 and $95\%$ top-3 accuracy at a fraction of the cost ($100\times$) and time ($240\times$) required by humans. As people increasingly interact with LLM-powered chatbots across all aspects of life, we also explore the emerging threat of privacy-invasive chatbots trying to extract personal information through seemingly benign questions. Finally, we show that common mitigations, i.e., text anonymization and model alignment, are currently ineffective at protecting user privacy against LLM inference. Our findings highlight that current LLMs can infer personal data at a previously unattainable scale. In the absence of working defenses, we advocate for a broader discussion around LLM privacy implications beyond memorization, striving for a wider privacy protection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL