Attaining Class-level Forgetting in Pretrained Model using Few Samples

要約

現実世界の問題に対処するために、ディープ ラーニング モデルは多くのクラスで共同でトレーニングされます。
ただし、将来的には、プライバシー/倫理上の懸念から一部のクラスが制限される可能性があり、制限されたクラスの知識は、トレーニングされたモデルから削除する必要があります。
利用可能なデータは、プライバシー/倫理上の懸念により制限される場合もあり、モデルの再トレーニングは不可能です。
残りのクラスに対するモデルの予測能力に影響を与えることなく、この問題に対処するための新しいアプローチを提案します。
私たちのアプローチは、制限されたクラスに関連性の高いモデル パラメーターを特定し、利用可能な限られたトレーニング データを使用して、制限されたクラスに関する知識をそれらから削除します。
私たちのアプローチは大幅に高速であり、残りのクラスの完全なデータで再トレーニングされたモデルと同様に機能します。

要約(オリジナル)

In order to address real-world problems, deep learning models are jointly trained on many classes. However, in the future, some classes may become restricted due to privacy/ethical concerns, and the restricted class knowledge has to be removed from the models that have been trained on them. The available data may also be limited due to privacy/ethical concerns, and re-training the model will not be possible. We propose a novel approach to address this problem without affecting the model’s prediction power for the remaining classes. Our approach identifies the model parameters that are highly relevant to the restricted classes and removes the knowledge regarding the restricted classes from them using the limited available training data. Our approach is significantly faster and performs similar to the model re-trained on the complete data of the remaining classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google