LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification

要約

モデルのトレーニングに必要な十分なデータが常に公開されているとは限らないため、研究者は高度な学習アルゴリズムを使用して限られたデータを利用したり、データ拡張 (DA) によってデータセットを拡張したりしています。
プライベート ドメインで DA を実行するには、プライベートな保護アプローチ (つまり、匿名化と摂動) が必要ですが、それらの方法では保護を保証できません。
差分プライバシー (DP) 学習方法は、理論的には保護を制限しますが、大規模なモデルを使用して疑似テキスト サンプルを生成することには熟練していません。
この論文では、DP ベースの擬似サンプル生成タスクを DP ベースの生成サンプル識別タスクに移し、プライベート ドメインでのテキスト分類のための LLM と DP ベースの識別器を備えた DP ベースの DA 方法を提案します。
DP ベースの弁別器として知識蒸留モデルを構築します。教師モデルはプライベート データにアクセスし、DP を達成するために校正されたノイズを持つプライベート サンプルを選択する方法を生徒に教えます。
DA の生成の分布を制限するために、ノイズのあるプライベート分布をモデル化し、低いプライバシー コストでサンプルの生成を制御する DP ベースのチューターを提案します。
私たちはモデルのプライバシー保護を理論的に分析し、モデルを実証的に検証します。

要約(オリジナル)

As sufficient data are not always publically accessible for model training, researchers exploit limited data with advanced learning algorithms or expand the dataset via data augmentation (DA). Conducting DA in private domain requires private protection approaches (i.e. anonymization and perturbation), but those methods cannot provide protection guarantees. Differential privacy (DP) learning methods theoretically bound the protection but are not skilled at generating pseudo text samples with large models. In this paper, we transfer DP-based pseudo sample generation task to DP-based generated samples discrimination task, where we propose a DP-based DA method with a LLM and a DP-based discriminator for text classification on private domains. We construct a knowledge distillation model as the DP-based discriminator: teacher models, accessing private data, teaches students how to select private samples with calibrated noise to achieve DP. To constrain the distribution of DA’s generation, we propose a DP-based tutor that models the noised private distribution and controls samples’ generation with a low privacy cost. We theoretically analyze our model’s privacy protection and empirically verify our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google