Sampling-based Pseudo-Likelihood for Membership Inference Attacks

要約

大規模言語モデル (LLM) は大規模な Web データでトレーニングされるため、各テキストの寄与を把握することが困難になります。
そのため、学習データ内のベンチマークや個人情報、著作権で保護された文章などの不適切なデータが漏洩する危険性があります。
特定のテキストがモデルの学習データに含まれるかどうかを判断するメンバーシップ推論攻撃 (MIA) が注目を集めています。
MIA に関する以前の研究では、尤度に基づく分類が LLM のリークの検出に効果的であることが明らかになりました。
ただし、ユーザーは可能性を利用できないため、既存の方法を ChatGPT や Claude 3 などの一部の独自モデルに適用することはできません。
この研究では、リークを検出するために LLM によって生成されたテキストのみを使用して SPL を計算する、MIA 用のサンプリングベースの擬似尤度 (\textbf{SPL}) 手法 (\textbf{SaMIA}) を提案します。
SaMIA はターゲットテキストを参照テキストとして、LLM からの複数の出力をテキストサンプルとして扱い、$n$-gram の一致度を SPL として計算し、トレーニングデータ内のテキストのメンバーシップを決定します。
尤度がない場合でも、SaMIA は既存の尤度ベースの手法と同等のパフォーマンスを発揮しました。

要約(オリジナル)

Large Language Models (LLMs) are trained on large-scale web data, which makes it difficult to grasp the contribution of each text. This poses the risk of leaking inappropriate data such as benchmarks, personal information, and copyrighted texts in the training data. Membership Inference Attacks (MIA), which determine whether a given text is included in the model’s training data, have been attracting attention. Previous studies of MIAs revealed that likelihood-based classification is effective for detecting leaks in LLMs. However, the existing methods cannot be applied to some proprietary models like ChatGPT or Claude 3 because the likelihood is unavailable to the user. In this study, we propose a Sampling-based Pseudo-Likelihood (\textbf{SPL}) method for MIA (\textbf{SaMIA}) that calculates SPL using only the text generated by an LLM to detect leaks. The SaMIA treats the target text as the reference text and multiple outputs from the LLM as text samples, calculates the degree of $n$-gram match as SPL, and determines the membership of the text in the training data. Even without likelihoods, SaMIA performed on par with existing likelihood-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google