$\nabla τ$: Gradient-based and Task-Agnostic machine Unlearning

要約

機械非学習は、モデルのトレーニング中に使用される特定のデータ例の影響を選択的に排除するプロセスであり、実務者が最近のデータ保護規制に準拠するための手段として大きな注目を集めています。
しかし、既存の非学習方法は、多くのハイパーパラメータに関連する法外に高いコストや、比較的小さなデータ部分のみを忘れるという制限など、重大な欠点に直面しています。
これにより、多くの場合、モデルを最初から再トレーニングする方が、より迅速かつ効果的なソリューションになります。
この研究では、トレーニング データのサブセットの影響を効率的に除去するように設計された最適化フレームワークである、勾配ベースのタスク依存型機械学習 ($\nabla \tau$) を紹介します。
忘れられるデータには適応型勾配上昇法を適用し、残りのデータには標準の勾配降下法を使用します。
$\nabla \tau$ には、既存のアプローチに比べて複数の利点があります。
これにより、トレーニング データセットの大部分 (最大 30%) の学習を解除できます。
これは多用途であり、さまざまな未学習タスク (サブセットの忘却やクラスの削除など) をサポートし、さまざまなドメイン (画像、テキストなど) に適用できます。
重要なのは、 $\nabla \tau$ にはハイパーパラメータの調整が必要ないため、モデルを最初から再トレーニングするよりも魅力的なオプションであるということです。
当社では、確立された一連のメンバーシップ推論攻撃メトリクスを使用してフレームワークの有効性を評価し、元のモデルの精度を損なうことなく、最先端の手法と比較してパフォーマンスが最大 10% 向上することを実証しています。

要約(オリジナル)

Machine Unlearning, the process of selectively eliminating the influence of certain data examples used during a model’s training, has gained significant attention as a means for practitioners to comply with recent data protection regulations. However, existing unlearning methods face critical drawbacks, including their prohibitively high cost, often associated with a large number of hyperparameters, and the limitation of forgetting only relatively small data portions. This often makes retraining the model from scratch a quicker and more effective solution. In this study, we introduce Gradient-based and Task-Agnostic machine Unlearning ($\nabla \tau$), an optimization framework designed to remove the influence of a subset of training data efficiently. It applies adaptive gradient ascent to the data to be forgotten while using standard gradient descent for the remaining data. $\nabla \tau$ offers multiple benefits over existing approaches. It enables the unlearning of large sections of the training dataset (up to 30%). It is versatile, supporting various unlearning tasks (such as subset forgetting or class removal) and applicable across different domains (images, text, etc.). Importantly, $\nabla \tau$ requires no hyperparameter adjustments, making it a more appealing option than retraining the model from scratch. We evaluate our framework’s effectiveness using a set of well-established Membership Inference Attack metrics, demonstrating up to 10% enhancements in performance compared to state-of-the-art methods without compromising the original model’s accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google