NoT: Federated Unlearning via Weight Negation

要約

Federated Ulderning（FU）は、訓練されたフェデレーションラーニング（FL）モデルから参加者のデータ貢献を削除し、プライバシーと規制のコンプライアンスを確保することを目指しています。
従来のFUメソッドは、多くの場合、クライアント側またはサーバー側の補助ストレージに依存しているか、データが使用できなくなった場合に実行不可能な依存関係をターゲットにしたデータに直接アクセスする必要があります。
これらの制限を克服するために、重量否定（-1を掛ける）に基づく斬新で効率的なFUアルゴリズムを提案します。
私たちは、最適なパラメーターのセットから離れたモデルパラメーターを摂動することで、効果的かつ効率的な未学習を達成できるが、迅速な再最適化のために適切に配置されることにより、達成できると主張します。
この手法は、一見矛盾しているように見えますが、理論的には接地されています。体重否定の摂動が効果的に層間の同時捕獲を破壊し、おおよその最適性特性を保存しながら学習を誘導し、それによって迅速な回復を可能にすることを証明します。
3つのデータセットと3つのモデルアーキテクチャにわたる実験結果は、既存のベースラインを学習していない有効性と通信および計算効率において、既存のベースラインを大幅に上回っていないことを示しています。

要約(オリジナル)

Federated unlearning (FU) aims to remove a participant’s data contributions from a trained federated learning (FL) model, ensuring privacy and regulatory compliance. Traditional FU methods often depend on auxiliary storage on either the client or server side or require direct access to the data targeted for removal-a dependency that may not be feasible if the data is no longer available. To overcome these limitations, we propose NoT, a novel and efficient FU algorithm based on weight negation (multiplying by -1), which circumvents the need for additional storage and access to the target data. We argue that effective and efficient unlearning can be achieved by perturbing model parameters away from the set of optimal parameters, yet being well-positioned for quick re-optimization. This technique, though seemingly contradictory, is theoretically grounded: we prove that the weight negation perturbation effectively disrupts inter-layer co-adaptation, inducing unlearning while preserving an approximate optimality property, thereby enabling rapid recovery. Experimental results across three datasets and three model architectures demonstrate that NoT significantly outperforms existing baselines in unlearning efficacy as well as in communication and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google