DeepClean: Machine Unlearning on the Cheap by Resetting Privacy Sensitive Weights using the Fisher Diagonal

要約

機密データや個人データでトレーニングされた機械学習モデルは、その情報を誤って記憶し漏洩する可能性があります。
マシンアンラーニングは、プライバシーを保護するために、モデルの重みからそのような詳細を遡及的に削除しようとします。
私たちは、選択的忘却のためにフィッシャー情報行列 (FIM) を活用する軽量のアンラーニング アルゴリズムに貢献します。
この分野での以前の作業では、完全な再トレーニングまたは大規模な逆行列が必要であり、計算コストが高くなります。
私たちの重要な洞察は、重みの変化に対する対数尤度の感度を測定する FIM の対角要素には、効果的な忘却に十分​​な情報が含まれているということです。
具体的には、すべてのトレーニング可能な重みについて、2 つのサブセット (保持するデータと忘れるデータ) にわたる FIM 対角を計算します。
この対角表現は、計算を大幅に削減しながら、完全な FIM を近似します。
次に、それを使用して重みを選択的に更新し、保持されるサブセットへの影響を最小限に抑えながら、機密性の高いサブセットの忘れを最大化します。
実験では、私たちのアルゴリズムがニューラル ネットワーク アーキテクチャ全体でランダムに選択されたトレーニング データのサブセットを正常に忘れることができることが示されています。
FIM 対角線を活用することで、私たちのアプローチは、実用的なプライバシー上の利点を備えた、解釈可能で軽量かつ効率的な機械学習解除ソリューションを提供します。

要約(オリジナル)

Machine learning models trained on sensitive or private data can inadvertently memorize and leak that information. Machine unlearning seeks to retroactively remove such details from model weights to protect privacy. We contribute a lightweight unlearning algorithm that leverages the Fisher Information Matrix (FIM) for selective forgetting. Prior work in this area requires full retraining or large matrix inversions, which are computationally expensive. Our key insight is that the diagonal elements of the FIM, which measure the sensitivity of log-likelihood to changes in weights, contain sufficient information for effective forgetting. Specifically, we compute the FIM diagonal over two subsets — the data to retain and forget — for all trainable weights. This diagonal representation approximates the complete FIM while dramatically reducing computation. We then use it to selectively update weights to maximize forgetting of the sensitive subset while minimizing impact on the retained subset. Experiments show that our algorithm can successfully forget any randomly selected subsets of training data across neural network architectures. By leveraging the FIM diagonal, our approach provides an interpretable, lightweight, and efficient solution for machine unlearning with practical privacy benefits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google