On Newton’s Method to Unlearn Neural Networks

要約

個人データに基づいてトレーニングされたニューラル ネットワーク (NN) の応用が広く普及するにつれ、個人が個人データの所有権、特にトレーニングされた NN から「忘れられる権利」を行使できるようにするために、機械のアンラーニングがますます重要になっています。
再トレーニングには計算コストがかかるため、再トレーニングされたオラクルに同一のモデルを返す NN の近似非学習アルゴリズムを求めます。
Newton の方法は線形モデルの近似学習を解除するために使用することに成功していますが、ニュートンの更新の計算を不可能にする縮退ヘッセ行列のため、それを NN に適応させるのは困難であることが観察されています。
さらに、縮退を解決する一般的な手法と組み合わせると、ニュートン法では攻撃的なほど大規模なノルム更新が発生し、経験的に非学習後のモデルのパフォーマンスが低下することが多いことを示します。
これらの課題に対処するために、私たちは CureNewton の方法を提案します。これは、3 次正則化を利用してヘッシアン縮退を効果的に処理する原理的なアプローチです。
追加された正則化により、手動による微調整の必要性がなくなり、学習されていないコンテキスト内で自然な解釈が可能になります。
さまざまなモデルとデータセットにわたる実験により、私たちの方法は、理論的に正当化され、実行時間において効率的でありながら、実際の非学習設定において最先端のアルゴリズムに匹敵する非学習パフォーマンスを達成できることが示されています。

要約(オリジナル)

With the widespread applications of neural networks (NNs) trained on personal data, machine unlearning has become increasingly important for enabling individuals to exercise their personal data ownership, particularly the ‘right to be forgotten’ from trained NNs. Since retraining is computationally expensive, we seek approximate unlearning algorithms for NNs that return identical models to the retrained oracle. While Newton’s method has been successfully used to approximately unlearn linear models, we observe that adapting it for NN is challenging due to degenerate Hessians that make computing Newton’s update impossible. Additionally, we show that when coupled with popular techniques to resolve the degeneracy, Newton’s method often incurs offensively large norm updates and empirically degrades model performance post-unlearning. To address these challenges, we propose CureNewton’s method, a principle approach that leverages cubic regularization to handle the Hessian degeneracy effectively. The added regularizer eliminates the need for manual finetuning and affords a natural interpretation within the unlearning context. Experiments across different models and datasets show that our method can achieve competitive unlearning performance to the state-of-the-art algorithm in practical unlearning settings, while being theoretically justified and efficient in running time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google