Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models

要約

機械学習、特に自然言語処理 (NLP) における最近の進歩により、広範なデータセットでトレーニングされた洗練されたモデルが開発されましたが、機密情報の漏洩の可能性についての懸念が生じています。
これに応えて、欧州連合の一般データ保護規則 (GDPR) などの規制措置により、モデルが特定のデータ エントリを選択的に忘れることを可能にするマシンアンラーニング技術への関心が高まっています。
初期のアプローチは主に前処理手法に依存していましたが、最近の研究はトレーニングベースのアンラーニング手法に移行しています。
その有効性にもかかわらず、既存の手法のほとんどは元のトレーニング データにアクセスする必要がありますが、アクセスできないことがよくあります。
さらに、非学習技術を直接適用すると、モデルの表現能力を損なうというコストが発生します。
これらの課題に対処するために、反復対照非学習 (ICU) フレームワークを導入します。このフレームワークは 3 つのコア コンポーネントで構成されます。 非学習損失を通じて特定の知識を削除するように設計された知識非学習誘導モジュール。
純粋な非学習目標に対してモデルの表現力を維持するための対照学習強化モジュール。
そして、特定のデータ部分の未学習範囲を動的に評価し、反復更新を行う反復的未学習改良モジュール。
実験結果は、モデルの全体的なパフォーマンスを維持しながら機密情報を学習解除する際の ICU メソッドの有効性を実証し、プライバシーを重視した機械学習アプリケーションに有望なソリューションを提供します。

要約(オリジナル)

Recent advancements in machine learning, particularly in Natural Language Processing (NLP), have led to the development of sophisticated models trained on extensive datasets, yet raising concerns about the potential leakage of sensitive information. In response, regulatory measures such as the European Union’s General Data Protection Regulation (GDPR) have driven increasing interest in Machine Unlearning techniques, which enable models to selectively forget specific data entries. Early approaches primarily relied on pre-processing methods, while more recent research has shifted towards training-based unlearning techniques. Despite their effectiveness, most existing methods require access to the original training data, which is often inaccessible. Additionally, directly applying unlearning techniques bear the cost of undermining the model’s expressive capabilities. To address these challenges, we introduce the Iterative Contrastive Unlearning (ICU) framework, which consists of three core components: A Knowledge Unlearning Induction module designed to remove specific knowledge through an unlearning loss; A Contrastive Learning Enhancement module to preserve the model’s expressive capabilities against the pure unlearning goal; And an Iterative Unlearning Refinement module that dynamically assess the unlearning extent on specific data pieces and make iterative update. Experimental results demonstrate the efficacy of our ICU method in unlearning sensitive information while maintaining the model’s overall performance, offering a promising solution for privacy-conscious machine learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google