Provable unlearning in topic modeling and downstream tasks

要約

トレーニング データの出所に関して法的懸念が生じるため、機械の非学習アルゴリズムの重要性はますます高まっていますが、非学習の成功を検証することは多くの場合困難です。
学習解除の証明可能な保証は、多くの場合、教師あり学習設定に限定されます。
この論文では、検索や分類などの下流タスクを解決するために適応できるトピック モデル、単純なバッグオブワード言語モデルを研究することにより、事前トレーニングおよび微調整パラダイムにおけるアンラーニングに対する最初の理論的保証を提供します。
まず、元のデータセットのサイズに関係なく計算オーバーヘッドが発生するトピック モデル用の効果的な非学習アルゴリズムを設計します。
私たちの分析では、モデルの削除能力、つまり、モデルのパフォーマンスに大きなコストをかけることなく学習を解除できる例の数も定量化されています。
最後に、特定の下流タスクへの適応を考慮して分析を正式に拡張します。
特に、リニアヘッドを介してトピックモデルを微調整した後にアンラーニングを実行する効率的なアルゴリズムを設計します。
特に、特定のタスクに合わせて微調整されたモデルからの事前トレーニング データの学習を解除する方が簡単であり、基本モデルを変更せずにこのデータを学習解除できることを示しています。

要約(オリジナル)

Machine unlearning algorithms are increasingly important as legal concerns arise around the provenance of training data, but verifying the success of unlearning is often difficult. Provable guarantees for unlearning are often limited to supervised learning settings. In this paper, we provide the first theoretical guarantees for unlearning in the pre-training and fine-tuning paradigm by studying topic models, simple bag-of-words language models that can be adapted to solve downstream tasks like retrieval and classification. First, we design a provably effective unlearning algorithm for topic models that incurs a computational overhead independent of the size of the original dataset. Our analysis additionally quantifies the deletion capacity of the model — i.e., the number of examples that can be unlearned without incurring a significant cost in model performance. Finally, we formally extend our analyses to account for adaptation to a given downstream task. In particular, we design an efficient algorithm to perform unlearning after fine-tuning the topic model via a linear head. Notably, we show that it is easier to unlearn pre-training data from models that have been fine-tuned to a particular task, and one can unlearn this data without modifying the base model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google