Membership Inference Attacks and Privacy in Topic Modeling

要約

最近の研究では、大規模な言語モデルは、トレーニング データの側面を推測するプライバシー攻撃の影響を受けやすいことが示されています。
ただし、トピック モデルなどのより単純な生成モデルが同様の脆弱性を共有するかどうかは不明です。
この研究では、潜在ディリクレ割り当てのトレーニング データのメンバーを確実に識別できるトピック モデルに対する攻撃を提案します。
私たちの結果は、生成モデリングに関連するプライバシー リスクが大規模なニューラル モデルに限定されないことを示唆しています。
さらに、これらの脆弱性を軽減するために、差分プライベート (DP) トピック モデリングを検討します。
我々は、前処理ステップとして DP 語彙選択を組み込んだプライベート トピック モデリングのフレームワークを提案し、それが実用性への影響を限定しながらプライバシーを向上させることを示します。

要約(オリジナル)

Recent research shows that large language models are susceptible to privacy attacks that infer aspects of the training data. However, it is unclear if simpler generative models, like topic models, share similar vulnerabilities. In this work, we propose an attack against topic models that can confidently identify members of the training data in Latent Dirichlet Allocation. Our results suggest that the privacy risks associated with generative modeling are not restricted to large neural models. Additionally, to mitigate these vulnerabilities, we explore differentially private (DP) topic modeling. We propose a framework for private topic modeling that incorporates DP vocabulary selection as a pre-processing step, and show that it improves privacy while having limited effects on practical utility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google