Train Once, Forget Precisely: Anchored Optimization for Efficient Post-Hoc Unlearning

要約

機械学習システムは、プライバシー規制の対象となるデータにますます依存しているため、訓練されたモデルからの特定の情報を選択的に学習することが不可欠になりました。
画像分類では、これには、完全な再訓練なしで特定のトレーニングサンプル、セマンティッククラス、または視覚スタイルの影響を削除することが含まれます。
\ textbf {forging-aligned Model Reconstruction（FAMR）}を紹介します。これは、深い画像分類子での事後解除のための理論的に接地された計算効率的なフレームワークです。
FAMRフレームは、$ \ ELL_2 $のペナルティを介してモデルパラメーターを元の値に固定しながら、忘却セットの均一な予測損失を最小限に抑える制約された最適化問題として忘れています。
理論分析では、FAMRのソリューションを、パラメーターと出力偏差に境界を備えた、影響機能ベースのレトレーニング近似にリンクします。
CIFAR-10とImagenet-100を使用したクラスの忘却タスクの経験的結果は、強力なパフォーマンス保持と最小限の計算オーバーヘッドでFAMRの有効性を示しています。
このフレームワークは、概念とスタイルの消去に自然に一般化し、ビジョンモデルで効率的な事後忘却へのスケーラブルで認証可能なルートを提供します。

要約(オリジナル)

As machine learning systems increasingly rely on data subject to privacy regulation, selectively unlearning specific information from trained models has become essential. In image classification, this involves removing the influence of particular training samples, semantic classes, or visual styles without full retraining. We introduce \textbf{Forget-Aligned Model Reconstruction (FAMR)}, a theoretically grounded and computationally efficient framework for post-hoc unlearning in deep image classifiers. FAMR frames forgetting as a constrained optimization problem that minimizes a uniform-prediction loss on the forget set while anchoring model parameters to their original values via an $\ell_2$ penalty. A theoretical analysis links FAMR’s solution to influence-function-based retraining approximations, with bounds on parameter and output deviation. Empirical results on class forgetting tasks using CIFAR-10 and ImageNet-100 demonstrate FAMR’s effectiveness, with strong performance retention and minimal computational overhead. The framework generalizes naturally to concept and style erasure, offering a scalable and certifiable route to efficient post-hoc forgetting in vision models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google