Privacy Evaluation Benchmarks for NLP Models

要約

NLP モデルに対してプライバシー攻撃を誘発することにより、攻撃者はトレーニング データやモデル パラメーターなどの機密情報を取得できます。研究者は NLP モデルにおける数種類の攻撃を詳細に研究していますが、それらは非体系的な分析です。
攻撃によって引き起こされる影響についての包括的な理解が欠けています。
たとえば、どのシナリオがどの攻撃に適用できるか、さまざまな攻撃のパフォーマンスに影響を与える共通の要因は何か、さまざまな攻撃間の関係の性質、攻撃の有効性に対するさまざまなデータセットやモデルの影響などを考慮する必要があります。
したがって、NLP モデルが直面するプライバシー リスクを総合的に評価するためのベンチマークが必要です。
本稿では、従来型/小規模モデルと大規模言語モデル (LLM) を含む、NLP 分野におけるプライバシー攻撃と防御の評価ベンチマークを紹介します。
このベンチマークは、攻撃と防御戦略を包括的に評価するための標準化されたモジュールとともに、さまざまなモデル、データセット、プロトコルをサポートしています。
上記のフレームワークに基づいて、さまざまなドメインからの補助データとプライバシー攻撃の強度の間の関連性に関する研究を紹介します。
また、このシナリオでは、Knowledge Distillation (KD) の助けを借りて、改良された攻撃方法を提供します。
さらに、プライバシー攻撃のための連鎖フレームワークを提案します。
実践者が複数の攻撃を連鎖させて、より高いレベルの攻撃目標を達成できるようにします。
これに基づいて、いくつかの防御戦略と強化された攻撃戦略を提供します。
結果を再現するコードは https://github.com/user2311717757/nlp_doctor にあります。

要約(オリジナル)

By inducing privacy attacks on NLP models, attackers can obtain sensitive information such as training data and model parameters, etc. Although researchers have studied, in-depth, several kinds of attacks in NLP models, they are non-systematic analyses. It lacks a comprehensive understanding of the impact caused by the attacks. For example, we must consider which scenarios can apply to which attacks, what the common factors are that affect the performance of different attacks, the nature of the relationships between different attacks, and the influence of various datasets and models on the effectiveness of the attacks, etc. Therefore, we need a benchmark to holistically assess the privacy risks faced by NLP models. In this paper, we present a privacy attack and defense evaluation benchmark in the field of NLP, which includes the conventional/small models and large language models (LLMs). This benchmark supports a variety of models, datasets, and protocols, along with standardized modules for comprehensive evaluation of attacks and defense strategies. Based on the above framework, we present a study on the association between auxiliary data from different domains and the strength of privacy attacks. And we provide an improved attack method in this scenario with the help of Knowledge Distillation (KD). Furthermore, we propose a chained framework for privacy attacks. Allowing a practitioner to chain multiple attacks to achieve a higher-level attack objective. Based on this, we provide some defense and enhanced attack strategies. The code for reproducing the results can be found at https://github.com/user2311717757/nlp_doctor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google