Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models

要約

機械学習の急速な成長により、ユーザーがデータ削除を要求できるようにする「忘れられる権利」などの立法化が加速している。
これに応えて、「機械のアンラーニング」は、最初から再トレーニングすることなく、不要なデータを選択的に削除することを提案します。
ニューラル タンジェント カーネル ベース (NTK ベース) の再学習手法はパフォーマンスに優れていますが、特に大規模なモデルやデータセットの場合、計算が大幅に複雑になります。
私たちの研究では、新しい NTK ベースの非学習アルゴリズムである「Fast-NTK」を導入しています。これは、CNN のバッチ正規化層の微調整や、CNN の視覚的プロンプトなど、パラメーター効率の高い微調整方法を組み込むことで、計算の複雑さを大幅に軽減します。
ビジョントランスフォーマー。
私たちの実験結果は、より大規模なニューラル ネットワークとデータセット (例: 88M パラメータ、5000 画像) に対するスケーラビリティを実証し、小規模なケース (例: 800 万パラメータ、500 画像) 向けに設計された以前のフルモデル NTK ベースのアプローチの制限を超えています。
特に、私たちのアプローチは、保持セットのみで再トレーニングする従来の方法と同等のパフォーマンスを維持します。
したがって、Fast-NTK は、ディープ ニューラル ネットワークにおける実用的かつスケーラブルな NTK ベースのアンラーニングを可能にします。

要約(オリジナル)

The rapid growth of machine learning has spurred legislative initiatives such as “the Right to be Forgotten,” allowing users to request data removal. In response, “machine unlearning” proposes the selective removal of unwanted data without the need for retraining from scratch. While the Neural-Tangent-Kernel-based (NTK-based) unlearning method excels in performance, it suffers from significant computational complexity, especially for large-scale models and datasets. Our work introduces “Fast-NTK,” a novel NTK-based unlearning algorithm that significantly reduces the computational complexity by incorporating parameter-efficient fine-tuning methods, such as fine-tuning batch normalization layers in a CNN or visual prompts in a vision transformer. Our experimental results demonstrate scalability to much larger neural networks and datasets (e.g., 88M parameters; 5k images), surpassing the limitations of previous full-model NTK-based approaches designed for smaller cases (e.g., 8M parameters; 500 images). Notably, our approach maintains a performance comparable to the traditional method of retraining on the retain set alone. Fast-NTK can thus enable for practical and scalable NTK-based unlearning in deep neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google