AdapterSwap: Continuous Training of LLMs with Data Removal and Access-Control Guarantees

要約

大規模言語モデル (LLM) は、静的な事前トレーニング コーパスから情報を呼び出すことによって、知識集約的なタスクを完了できる能力がますます高まっています。
ここでは、進化するデータ要件のコンテキストにおける LLM に注目します。
例: 定期的に導入される新しいデータのバッチ。
ユーザーベースのアクセス制御を備えたデータのサブセット。
または、関連する知識を思い出せないことを保証する文書の動的削除に関する要件。
これらの要件を満たすと同時に、新しいデータが利用可能になったときにモデルが古い情報を忘れないようにしたいと考えています。
これらの問題に対処するために、AdapterSwap を導入します。AdapterSwap は、データ コレクションからの知識を低ランクのアダプターのセットに編成し、推論中に動的に構成されるトレーニングおよび推論スキームです。
私たちの実験では、AdapterSwap が効率的な継続学習をサポートすると同時に、組織がデータのアクセスと削除をきめ細かく制御できることを実証しました。

要約(オリジナル)

Large language models (LLMs) are increasingly capable of completing knowledge intensive tasks by recalling information from a static pretraining corpus. Here we are concerned with LLMs in the context of evolving data requirements. For instance: batches of new data that are introduced periodically; subsets of data with user-based access controls; or requirements on dynamic removal of documents with guarantees that associated knowledge cannot be recalled. We wish to satisfy these requirements while at the same time ensuring a model does not forget old information when new data becomes available. To address these issues, we introduce AdapterSwap, a training and inference scheme that organizes knowledge from a data collection into a set of low-rank adapters, which are dynamically composed during inference. Our experiments demonstrate AdapterSwap’s ability to support efficient continual learning, while also enabling organizations to have fine-grained control over data access and deletion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google