An Information Theoretic Approach to Operationalize Right to Data Protection

要約

言語モデル (LM) を微調整するために無差別にデータをスクレイピングする行為が広く行われているため、特に一般データ保護規則 (GDPR) などのデータ保護法の遵守に関して、重大な法的および倫理的懸念が生じています。
この慣行は個人情報の不正使用につながることが多く、学術コミュニティや規制コミュニティ内で議論が高まっています。
最近の研究では、（クリーンなデータに知覚できないノイズを追加することによって）学習不可能なデータセットを生成するという概念が導入されており、基礎となるモデルはトレーニング中の損失が低くなりますが、目に見えないテスト設定には一般化できません。
ある程度効果的ではありますが、これらのアプローチは主に画像用に設計されており、ターゲット モデルの知識を必要とするなど、いくつかの実際的な制約によって制限されます。
この目的を達成するために、自然言語データセットに知覚できない偽の相関を挿入し、セマンティック コンテンツに影響を与えることなくデータセットを効果的に学習不可能にするフレームワークである RegText を導入します。
私たちは、小規模および大規模な LM の厳密な実証分析を通じて RegText の有用性を実証します。
特に、RegText は、GPT-4o や Llama などの新しいモデルが生成されたデータを学習することを制限する可能性があり、その結果、ゼロショット パフォーマンスと比較してテスト精度が低下し、公開データを保護するために学習不可能なテキストを生成する道を開くことになります。

要約(オリジナル)

The widespread practice of indiscriminate data scraping to fine-tune language models (LMs) raises significant legal and ethical concerns, particularly regarding compliance with data protection laws such as the General Data Protection Regulation (GDPR). This practice often results in the unauthorized use of personal information, prompting growing debate within the academic and regulatory communities. Recent works have introduced the concept of generating unlearnable datasets (by adding imperceptible noise to the clean data), such that the underlying model achieves lower loss during training but fails to generalize to the unseen test setting. Though somewhat effective, these approaches are predominantly designed for images and are limited by several practical constraints like requiring knowledge of the target model. To this end, we introduce RegText, a framework that injects imperceptible spurious correlations into natural language datasets, effectively rendering them unlearnable without affecting semantic content. We demonstrate RegText’s utility through rigorous empirical analysis of small and large LMs. Notably, RegText can restrict newer models like GPT-4o and Llama from learning on our generated data, resulting in a drop in their test accuracy compared to their zero-shot performance and paving the way for generating unlearnable text to protect public data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google