Sharpness-Aware Parameter Selection for Machine Unlearning

要約

多くの場合、クレジットカード番号やパスワードなどの機密性の高い個人情報は、機械学習モデルのトレーニングに誤って組み込まれ、その後削除する必要があることがよくあります。
訓練されたモデルからそのような情報を削除することは、トレーニングプロセスを部分的に逆転させる必要がある複雑なタスクです。
この問題に対処するために、文献で提案されているさまざまな機械の学習技術がありました。
提案された方法のほとんどは、訓練されたモデルから個々のデータサンプルの削除を中心に展開しています。
もう1つの探索されていない方向は、データサンプルのグループの機能/ラベルを戻す必要がある場合です。
これらのタスクの既存のメソッドは、モデルパラメーターのセット全体またはモデルの最後のレイヤーのみを更新することにより、未学習タスクを実行しますが、未学習のターゲット機能に最大の貢献度を持つモデルパラメーターのサブセットがあることを示します。
より正確には、ヘシアンマトリックス（学習モデルパラメーターで計算）で最大の対応する斜め値を持つモデルパラメーターは、未学習タスクに最も貢献しています。
これらのパラメーターを選択し、学習段階でそれらを更新することにより、学習の最大の進歩を遂げることができます。
提案された戦略を、シャープネスを認識した最小化と堅牢な解除に接続することにより、提案された戦略の理論的正当化を提供します。
計算コストが低いために、非学習の有効性を改善する上で、提案された戦略の有効性を経験的に示します。

要約(オリジナル)

It often happens that some sensitive personal information, such as credit card numbers or passwords, are mistakenly incorporated in the training of machine learning models and need to be removed afterwards. The removal of such information from a trained model is a complex task that needs to partially reverse the training process. There have been various machine unlearning techniques proposed in the literature to address this problem. Most of the proposed methods revolve around removing individual data samples from a trained model. Another less explored direction is when features/labels of a group of data samples need to be reverted. While the existing methods for these tasks do the unlearning task by updating the whole set of model parameters or only the last layer of the model, we show that there are a subset of model parameters that have the largest contribution in the unlearning target features. More precisely, the model parameters with the largest corresponding diagonal value in the Hessian matrix (computed at the learned model parameter) have the most contribution in the unlearning task. By selecting these parameters and updating them during the unlearning stage, we can have the most progress in unlearning. We provide theoretical justifications for the proposed strategy by connecting it to sharpness-aware minimization and robust unlearning. We empirically show the effectiveness of the proposed strategy in improving the efficacy of unlearning with a low computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google