Unlearning Traces the Influential Training Data of Language Models

要約

言語モデルの出力に影響を与えるトレーニング データセットを特定することは、有害なコンテンツの生成を最小限に抑え、パフォーマンスを向上させるために不可欠です。
理想的には、トレーニングからデータセットを削除することで、各データセットの影響を測定できます。
ただし、モデルを複数回再トレーニングすると、法外なコストがかかります。
このペーパーでは、UnTrac について説明します。Unlearning は、モデルのパフォーマンスに対するトレーニング データセットの影響をトレースします。
UnTrac は非常にシンプルです。
各トレーニング データセットは勾配上昇によって学習解除され、学習解除後にモデルの予測がどの程度変化するかを評価します。
さらに、テスト データセットを学習解除し、トレーニング データセットの未学習モデルを評価する、よりスケーラブルなアプローチ UnTrac-Inv を提案します。
UnTrac-Inv は UnTrac に似ていますが、大規模なトレーニング データセットに対して効率的です。
実験では、私たちの方法が有害で偏った真実でないコンテンツの生成に対する事前トレーニング データセットの影響を評価できるかどうかを検証します。
私たちの方法は、既存の方法よりもはるかに正確にその影響を推定し、過剰なメモリスペースや複数のチェックポイントを必要としません。

要約(オリジナル)

Identifying the training datasets that influence a language model’s outputs is essential for minimizing the generation of harmful content and enhancing its performance. Ideally, we can measure the influence of each dataset by removing it from training; however, it is prohibitively expensive to retrain a model multiple times. This paper presents UnTrac: unlearning traces the influence of a training dataset on the model’s performance. UnTrac is extremely simple; each training dataset is unlearned by gradient ascent, and we evaluate how much the model’s predictions change after unlearning. Furthermore, we propose a more scalable approach, UnTrac-Inv, which unlearns a test dataset and evaluates the unlearned model on training datasets. UnTrac-Inv resembles UnTrac, while being efficient for massive training datasets. In the experiments, we examine if our methods can assess the influence of pretraining datasets on generating toxic, biased, and untruthful content. Our methods estimate their influence much more accurately than existing methods while requiring neither excessive memory space nor multiple checkpoints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google