Federated Unlearning: A Survey on Methods, Design Guidelines, and Evaluation Metrics

要約

Federated Learning (FL) を使用すると、複数の当事者間での機械学習 (ML) モデルの共同トレーニングが可能になり、データをローカルに保存することでユーザーと機関のプライバシーの保護が容易になります。
FL は、生データを一元管理する代わりに、ローカルで調整されたモデル パラメーターを交換して、グローバル モデルを段階的に構築します。
FL は欧州一般データ保護規則 (GDPR) などの新たな規制への準拠を強化していますが、この文脈で忘れられる権利を確保すること、つまり FL 参加者が学習されたモデルからデータ貢献を削除できるようにすることは依然として不明瞭です。
さらに、悪意のあるクライアントが更新を通じてグローバル モデルにバックドアを挿入する可能性があることが認識されています。
特別に細工されたデータ例に対して誤った予測を生成するため。
したがって、すでに取得した「良い」知識を損なうことなく、集約後であっても個人がデータを削除し、悪意のある投稿を消去できることを保証できるメカニズムが必要です。
これは、完全なモデルを再トレーニングすることなく、特定のクライアントの寄与を効率的に除去できる、新しい Federated Unlearning (FU) アルゴリズムの必要性を強調しています。
この調査は、効率的な FU スキームを設計/実装するための背景概念、経験的証拠、実践的なガイドラインを提供します。
私たちの研究には、フロリダ州における未学習を評価するための指標の詳細な分析が含まれており、最先端の FU の貢献を新しい分類法に基づいて分類する詳細な文献レビューが示されています。
最後に、この分野で最も有望な研究の方向性を特定することにより、最も関連性が高く、まだ未解決の技術的課題について概説します。

要約(オリジナル)

Federated Learning (FL) enables collaborative training of a Machine Learning (ML) model across multiple parties, facilitating the preservation of users’ and institutions’ privacy by keeping data stored locally. Instead of centralizing raw data, FL exchanges locally refined model parameters to build a global model incrementally. While FL is more compliant with emerging regulations such as the European General Data Protection Regulation (GDPR), ensuring the right to be forgotten in this context – allowing FL participants to remove their data contributions from the learned model – remains unclear. In addition, it is recognized that malicious clients may inject backdoors into the global model through updates, e.g. to generate mispredictions on specially crafted data examples. Consequently, there is the need for mechanisms that can guarantee individuals the possibility to remove their data and erase malicious contributions even after aggregation, without compromising the already acquired ‘good’ knowledge. This highlights the necessity for novel Federated Unlearning (FU) algorithms, which can efficiently remove specific clients’ contributions without full model retraining. This survey provides background concepts, empirical evidence, and practical guidelines to design/implement efficient FU schemes. Our study includes a detailed analysis of the metrics for evaluating unlearning in FL and presents an in-depth literature review categorizing state-of-the-art FU contributions under a novel taxonomy. Finally, we outline the most relevant and still open technical challenges, by identifying the most promising research directions in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google