Practical Continual Forgetting for Pre-trained Vision Models

要約

プライバシーとセキュリティの懸念から、事前トレーニングされた視覚モデルから不要な情報を消去する必要性が今日では明らかになってきています。
実際のシナリオでは、ユーザーとモデル所有者の両方からいつでも消去リクエストが発生し、通常、これらのリクエストは一連のシーケンスを形成します。
したがって、そのような設定では、残りを維持しながら、選択された情報が事前トレーニングされたモデルから継続的に削除されることが期待されます。
私たちはこの問題を継続的な物忘れと定義し、3 つの主要な課題を特定します。
(i) 不要な知識については、効率的かつ効果的に削除することが重要です。
(ii) 残っている知識については、忘れる手順によってもたらされる影響は最小限であるべきです。
(iii) 現実世界のシナリオでは、トレーニング サンプルが不足しているか、忘却の過程で部分的に欠落している可能性があります。
これらに対処するために、私たちはまず Group Sparse LoRA (GS-LoRA) を提案します。
具体的には、(i) に向けて、忘却タスクごとに Transformer ブロックの FFN レイヤーを個別に微調整する LoRA モジュールを導入します。また、(ii) に向けて、単純なグループ スパース正則化が採用され、特定の LoRA グループとゼロ化の自動選択が可能になります。
他はアウト。
GS-LoRA をより実践的なシナリオにさらに拡張するために、追加の監視としてプロトタイプ情報を組み込み、より実践的なアプローチである GS-LoRA++ を導入します。
忘れられたクラスごとに、ロジットを元のプロトタイプから遠ざけます。
残りのクラスについては、ロジットをそれぞれのプロトタイプに近づけます。
私たちは顔認識、物体検出、画像分類に関する広範な実験を実施し、私たちの方法が他のクラスへの影響を最小限に抑えながら特定のクラスを忘れることができることを実証しました。
コードは https://github.com/bjzhb666/GS-LoRA で公開されています。

要約(オリジナル)

For privacy and security concerns, the need to erase unwanted information from pre-trained vision models is becoming evident nowadays. In real-world scenarios, erasure requests originate at any time from both users and model owners, and these requests usually form a sequence. Therefore, under such a setting, selective information is expected to be continuously removed from a pre-trained model while maintaining the rest. We define this problem as continual forgetting and identify three key challenges. (i) For unwanted knowledge, efficient and effective deleting is crucial. (ii) For remaining knowledge, the impact brought by the forgetting procedure should be minimal. (iii) In real-world scenarios, the training samples may be scarce or partially missing during the process of forgetting. To address them, we first propose Group Sparse LoRA (GS-LoRA). Specifically, towards (i), we introduce LoRA modules to fine-tune the FFN layers in Transformer blocks for each forgetting task independently, and towards (ii), a simple group sparse regularization is adopted, enabling automatic selection of specific LoRA groups and zeroing out the others. To further extend GS-LoRA to more practical scenarios, we incorporate prototype information as additional supervision and introduce a more practical approach, GS-LoRA++. For each forgotten class, we move the logits away from its original prototype. For the remaining classes, we pull the logits closer to their respective prototypes. We conduct extensive experiments on face recognition, object detection and image classification and demonstrate that our method manages to forget specific classes with minimal impact on other classes. Codes have been released on https://github.com/bjzhb666/GS-LoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google