Decepticons: Corrupted Transformers Breach Privacy in Federated Learning for Language Models

要約

ユーザー データを一元管理せずにモデルをトレーニングするフェデレーション ラーニング (FL) の中心的な理念はプライバシーです。
ただし、以前の研究では、FL で使用される勾配更新によりユーザー情報が漏洩する可能性があることが示されています。
FL の産業用途のほとんどはテキスト アプリケーション (キーストローク予測など) ですが、FL プライバシーに対するほぼすべての攻撃は単純な画像分類子に焦点を当てています。
私たちは、悪意のあるパラメータ ベクトルを展開することでユーザーのプライベート テキストを明らかにし、ミニバッチ、複数のユーザー、長いシーケンスでも成功する新しい攻撃を提案します。
FL に対するこれまでの攻撃とは異なり、この攻撃は Transformer アーキテクチャとトークン埋め込みの両方の特性を悪用し、トークンと位置埋め込みを個別に抽出して忠実度の高いテキストを取得します。
この研究は、歴史的にプライバシー攻撃に対して耐性があったテキスト上の FL が、これまで考えられていたよりもはるかに脆弱であることを示唆しています。

要約(オリジナル)

A central tenet of Federated learning (FL), which trains models without centralizing user data, is privacy. However, previous work has shown that the gradient updates used in FL can leak user information. While the most industrial uses of FL are for text applications (e.g. keystroke prediction), nearly all attacks on FL privacy have focused on simple image classifiers. We propose a novel attack that reveals private user text by deploying malicious parameter vectors, and which succeeds even with mini-batches, multiple users, and long sequences. Unlike previous attacks on FL, the attack exploits characteristics of both the Transformer architecture and the token embedding, separately extracting tokens and positional embeddings to retrieve high-fidelity text. This work suggests that FL on text, which has historically been resistant to privacy attacks, is far more vulnerable than previously thought.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google