Ferrari: Federated Feature Unlearning via Optimizing Feature Sensitivity

要約

Federated Learning (FL) の出現は、すべてのクライアントが機械学習モデルのサービス プロバイダーにデータ削除を要求できるようにする「忘れられる権利」の現実的な必要性を浮き彫りにしています。
この必要性により、Federated Unlearning (FU) に対する需要が高まっています。
機能アンラーニングは、機密機能、バックドア機能、バイアス機能のアンラーニングに応用されているため、かなりの注目を集めています。
既存の方法では、インフルエンス関数を使用して機能のアンラーニングを実現しますが、アンラーニング プロセスに他のクライアントの参加が必要となるため、FL では非現実的です。
さらに、現在の研究では、特徴のアンラーニングの有効性の評価が不足しています。
これらの制限に対処するために、リプシッツ連続性に基づいて特徴の未学習の評価における特徴の感度を定義します。
このメトリクスは、入力フィーチャの摂動に対するモデル出力の変化率または感度を特徴付けます。
次に、機能の感度を最小限に抑える、Ferrari と呼ばれる効果的なフェデレーテッド機能学習フレームワークを提案します。
広範な実験結果と理論分析により、機密性の高い機能、バックドア機能、偏った機能など、さまざまな機能学習シナリオ全体にわたるフェラーリの有効性が実証されています。

要約(オリジナル)

The advent of Federated Learning (FL) highlights the practical necessity for the ‘right to be forgotten’ for all clients, allowing them to request data deletion from the machine learning model’s service provider. This necessity has spurred a growing demand for Federated Unlearning (FU). Feature unlearning has gained considerable attention due to its applications in unlearning sensitive features, backdoor features, and bias features. Existing methods employ the influence function to achieve feature unlearning, which is impractical for FL as it necessitates the participation of other clients in the unlearning process. Furthermore, current research lacks an evaluation of the effectiveness of feature unlearning. To address these limitations, we define feature sensitivity in the evaluation of feature unlearning according to Lipschitz continuity. This metric characterizes the rate of change or sensitivity of the model output to perturbations in the input feature. We then propose an effective federated feature unlearning framework called Ferrari, which minimizes feature sensitivity. Extensive experimental results and theoretical analysis demonstrate the effectiveness of Ferrari across various feature unlearning scenarios, including sensitive, backdoor, and biased features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google