Unlearnable Algorithms for In-context Learning

要約

出所が不明なデータにモデルがデプロイされることが増えているため、機械の非学習は望ましい操作です。
ただし、正確な非学習を達成すること、つまり忘れるべきデータがまったく使用されなかったときにモデル分布と一致するモデルを取得することは困難または非効率であり、多くの場合、大幅な再トレーニングが必要になります。
この論文では、事前トレーニングされた大規模言語モデル (LLM) のタスク適応フェーズのための効率的な非学習方法に焦点を当てます。
タスク適応のためのコンテキスト内学習を行う LLM の機能により、タスク適応トレーニング データの効率的な正確なアンラーニングが可能になることが観察されています。
LLM (タスク適応用) に与えられるプロンプトの前に追加する少数ショット トレーニング サンプルを選択するためのアルゴリズム、ERASE を提供します。ERASE の非学習操作コストはモデルやデータセットのサイズに依存しません。つまり、大規模なモデルやデータセットに拡張できます。
さらに、私たちのアプローチと微調整アプローチを比較し、2 つのアプローチ間のトレードオフについて説明します。
これにより、さまざまな推論コストを考慮したアンラーニング コストの新しい総合的な尺度を提案することができ、アンラーニング リクエストを伴うデプロイメントでは、コンテキスト内学習の方が微調整よりも有利であることが多いと結論付けています。

要約(オリジナル)

Machine unlearning is a desirable operation as models get increasingly deployed on data with unknown provenance. However, achieving exact unlearning — obtaining a model that matches the model distribution when the data to be forgotten was never used — is challenging or inefficient, often requiring significant retraining. In this paper, we focus on efficient unlearning methods for the task adaptation phase of a pretrained large language model (LLM). We observe that an LLM’s ability to do in-context learning for task adaptation allows for efficient exact unlearning of task adaptation training data. We provide an algorithm for selecting few-shot training examples to prepend to the prompt given to an LLM (for task adaptation), ERASE, whose unlearning operation cost is independent of model and dataset size, meaning it scales to large models and datasets. We additionally compare our approach to fine-tuning approaches and discuss the trade-offs between the two approaches. This leads us to propose a new holistic measure of unlearning cost which accounts for varying inference costs, and conclude that in-context learning can often be more favourable than fine-tuning for deployments involving unlearning requests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google