On Newton’s Method to Unlearn Neural Networks

要約

機械のアンラーニングは、「忘れられる権利」を含む個人データの所有権を促進します。
ユーザーの個人データに基づいてトレーニングされた \emph{ニューラル ネットワーク} (NN) のアプリケーションの急増により、NN を学習解除するためのアルゴリズムを開発する必要性が求められています。
再トレーニングにはコストがかかるため、多くの場合、トレーニング済みの NN を再トレーニング済みの NN に近くなるようにアンラーニングすることを目的とした近似アンラーニングによって効率が達成されます。
ニュートン法は、線形モデルを近似的にアンラーニングするために以前の研究で使用されてきましたが、NN のアンラーニングにそれを適応させると、ニュートンの更新の計算を不可能にする縮退ヘッセ行列に遭遇することがよくあります。
この論文では、まず、未学習の縮退問題を緩和するための素朴だがしばしば効果的な解決策と組み合わせると、ニュートン法が驚くべきことに壊滅的な忘却に悩まされることを示します。
この困難を克服するために、理論的に正当化された正則化子を含むようにニュートン法を修正し、NN をアンラーニングするための 3 次正則化ニュートン法を提案します。
三次正則化には、手動による微調整が不要であり、自然な解釈が可能になるという利点があります。
いくつかのモデルと現実世界のデータセットに対する経験的評価により、私たちの方法は壊滅的な忘却に対してより回復力があり、特に逐次的なアンラーニングにおいてベースラインよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Machine unlearning facilitates personal data ownership, including the “right to be forgotten”. The proliferation of applications of \emph{neural networks} (NNs) trained on users’ personal data calls for the need to develop algorithms to unlearn an NN. Since retraining is costly, efficiency is often achieved through approximate unlearning which aims to unlearn a trained NN to be close to the retrained one (in distribution). Though the Newton’s method has been used by previous works to approximately unlearn linear models, adapting it for unlearning an NN often encounters degenerate Hessians that make computing the Newton’s update impossible. In this paper, we will first show that when coupled with naive yet often effective solutions to mitigate the degeneracy issue for unlearning, the Newton’s method surprisingly suffers from catastrophic forgetting. To overcome this difficulty, we revise the Newton’s method to include a theoretically justified regularizer and propose a cubic-regularized Newton’s method for unlearning an NN. The cubic regularizer comes with the benefits of not requiring manual finetuning and affording a natural interpretation. Empirical evaluation on several models and real-world datasets shows that our method is more resilient to catastrophic forgetting and performs better than the baselines, especially in sequential unlearning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google