Who’s Harry Potter? Approximate Unlearning in LLMs

要約

大規模言語モデル（LLM）は、しばしば著作権で保護されたコンテンツを含む膨大なインターネットコーパスを用いて学習される。このことは、これらのモデルの開発者や利用者、そして原著作者や出版社にとって、法的・倫理的な課題となる。本稿では、LLMをゼロから再学習することなく、LLMから学習データのサブセットをアンラーニングするための新しい手法を提案する。 我々は、Llama2-7bモデル（最近Metaによってオープンソース化された生成言語モデル）からハリー・ポッターの本を学習解除するタスクで我々の技術を評価した。このモデルの事前学習には184K GPU時間以上を要したが、約1GPU時間のファインチューニングで、ハリーポッター関連のコンテンツを生成したり想起したりするモデルの能力を効果的に消し去ることができる一方、一般的なベンチマーク（Winogrande、Hellaswag、arc、boolq、piqaなど）での性能はほとんど影響を受けないことを示す。HuggingFace上で、我々の微調整されたモデルを公開し、コミュニティの評価に役立てている。我々の知る限り、これは生成言語モデルにおける学習解除のための効果的な技法を提示した最初の論文である。 我々の技法は3つの主要な構成要素からなる：第一に、ベースラインモデルのロジットと比較することで、学習解除ターゲットに最も関連するトークンを識別するために、ターゲットデータでさらに訓練された強化モデルを使用する。次に、ターゲットデータ中の特異な表現を一般的な表現に置き換え、モデル自身の予測を活用して、すべてのトークンの代替ラベルを生成する。これらのラベルは、ターゲットデータで学習していないモデルの次のトークン予測に近似することを目的としている。第三に、これらの代替ラベルを基にモデルを微調整し、文脈が促されるたびにモデルの記憶から元のテキストを効果的に消去する。

要約(オリジナル)

Large language models (LLMs) are trained on massive internet corpora that often contain copyrighted content. This poses legal and ethical challenges for the developers and users of these models, as well as the original authors and publishers. In this paper, we propose a novel technique for unlearning a subset of the training data from a LLM, without having to retrain it from scratch. We evaluate our technique on the task of unlearning the Harry Potter books from the Llama2-7b model (a generative language model recently open-sourced by Meta). While the model took over 184K GPU-hours to pretrain, we show that in about 1 GPU hour of finetuning, we effectively erase the model’s ability to generate or recall Harry Potter-related content, while its performance on common benchmarks (such as Winogrande, Hellaswag, arc, boolq and piqa) remains almost unaffected. We make our fine-tuned model publicly available on HuggingFace for community evaluation. To the best of our knowledge, this is the first paper to present an effective technique for unlearning in generative language models. Our technique consists of three main components: First, we use a reinforced model that is further trained on the target data to identify the tokens that are most related to the unlearning target, by comparing its logits with those of a baseline model. Second, we replace idiosyncratic expressions in the target data with generic counterparts, and leverage the model’s own predictions to generate alternative labels for every token. These labels aim to approximate the next-token predictions of a model that has not been trained on the target data. Third, we finetune the model on these alternative labels, which effectively erases the original text from the model’s memory whenever it is prompted with its context.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL