Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons

要約

フェデレーテッド ラーニングを使用すると、プライバシー要件を遵守しながら、サーバーの全体的な計画に基づいて、複数のクライアントが機械学習モデルを共同でトレーニングできるようになります。
ただし、サーバーはローカル トレーニング プロセスを直接監視できないため、悪意のあるクライアントがバックドアを導入する機会が生じます。
既存の研究では、バックドア攻撃により、侵害されたモデル内の特定のニューロンが活性化され、クリーンなデータを処理する際には休止状態のままであることが示されています。
この洞察を活用して、フェデレーテッド ラーニングにおけるバックドア攻撃を防御するために、低活性化入力ニューロンのフリッピング重み更新 (FLAIN) と呼ばれる方法を提案します。
具体的には、グローバル トレーニングの完了後、補助データセットを使用して低活性化入力ニューロンを特定し、関連する重みの更新を反転します。
補助データのパフォーマンス低下が許容できなくなるまで、低アクティベーション入力のしきい値を段階的に上げ、重み更新を繰り返し反転します。
広範な実験により、私たちの方法が、非 IID データ分散や高い MCR を含むさまざまな攻撃シナリオにおいて、バックドア攻撃の成功率を効果的に低レベルに下げ、クリーンなデータに対して最小限のパフォーマンス低下しか引き起こさないことが検証されました。

要約(オリジナル)

Federated learning enables multiple clients to collaboratively train machine learning models under the overall planning of the server while adhering to privacy requirements. However, the server cannot directly oversee the local training process, creating an opportunity for malicious clients to introduce backdoors. Existing research shows that backdoor attacks activate specific neurons in the compromised model, which remain dormant when processing clean data. Leveraging this insight, we propose a method called Flipping Weight Updates of Low-Activation Input Neurons (FLAIN) to defend against backdoor attacks in federated learning. Specifically, after completing global training, we employ an auxiliary dataset to identify low-activation input neurons and flip the associated weight updates. We incrementally raise the threshold for low-activation inputs and flip the weight updates iteratively, until the performance degradation on the auxiliary data becomes unacceptable. Extensive experiments validate that our method can effectively reduce the success rate of backdoor attacks to a low level in various attack scenarios including those with non-IID data distribution or high MCRs, causing only minimal performance degradation on clean data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google