FedQUIT: On-Device Federated Unlearning via a Quasi-Competent Virtual Teacher

要約

Federated Learning (FL) は、機械学習モデルが共同してトレーニングされる場合に、個人データのプライバシーをより確実に保証することを約束します。
FL 参加者が忘れられる権利を行使する場合、つまり、参加していた FL フレームワークから切り離され、グローバル モデルへの過去の貢献を削除する場合、FL ソリューションは、全体的なシステムを犠牲にすることなく、それを可能にするために必要なすべての手順を実行する必要があります。
グローバル モデルのパフォーマンスは、今日の最先端の関連ソリューションではサポートされていません。
この論文では、知識の蒸留を使用して、一般化能力を維持しながら FL グローバル モデルから忘却データの寄与を除去する新しいアルゴリズムである FedQUIT を提案します。
FedQUIT はクライアントのデバイスで直接動作し、通常の FL プロセスと比較して追加情報を共有する必要がなく、公的に利用可能なプロキシ データの可用性も前提としません。
当社のソリューションは効率的かつ効果的であり、集中型設定と連合型設定の両方に適用できます。
私たちの実験結果は、FedQUIT がアンラーニング後に汎化パフォーマンスを回復するのに必要な追加の通信ラウンドは平均 2.5% 未満であり、データが一度も忘れられたことがないグローバル モデルの予測に匹敵するサニタイズされたグローバル モデルを取得することを示しています。

要約(オリジナル)

Federated Learning (FL) promises better privacy guarantees for individuals’ data when machine learning models are collaboratively trained. When an FL participant exercises its right to be forgotten, i.e., to detach from the FL framework it has participated and to remove its past contributions to the global model, the FL solution should perform all the necessary steps to make it possible without sacrificing the overall performance of the global model, which is not supported in state-of-the-art related solutions nowadays. In this paper, we propose FedQUIT, a novel algorithm that uses knowledge distillation to scrub the contribution of the forgetting data from an FL global model while preserving its generalization ability. FedQUIT directly works on clients’ devices and does not require sharing additional information if compared with a regular FL process, nor does it assume the availability of publicly available proxy data. Our solution is efficient, effective, and applicable in both centralized and federated settings. Our experimental results show that, on average, FedQUIT requires less than 2.5% additional communication rounds to recover generalization performances after unlearning, obtaining a sanitized global model whose predictions are comparable to those of a global model that has never seen the data to be forgotten.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google