Pelta: Shielding Transformers to Mitigate Evasion Attacks in Federated Learning

要約

フェデレーテッド ラーニングの大前提は、機械学習モデルの更新は、特にユーザー データのプライバシーを保護するためにローカルで計算され、データはデバイスの境界から決して出ないということです。
このメカニズムは、一般モデルが一度集約されると、連携する悪意のないノードにブロードキャストされることを前提としています。
ただし、適切な防御策がなければ、侵害されたクライアントは、敵対的な例を求めてローカル メモリ内のモデルを簡単に調査してしまう可能性があります。
たとえば、画像ベースのアプリケーションを考慮すると、敵対的な例は、ローカル モデルによって誤分類された (人間の目には) 知覚できないほど混乱した画像で構成されます。この画像は、後で被害者ノードの対応するモデルに提示されて、攻撃を再現することができます。
このような悪意のあるプローブを軽減するために、信頼できるハードウェアを活用した新しいシールド メカニズムである Pelta を導入します。
Pelta は、信頼された実行環境 (TEE) の機能を利用することで、バックプロパゲーション チェーン ルールの一部をマスクします。そうでない場合は、通常、悪意のあるサンプルの設計のために攻撃者によって悪用されます。
私たちは、最先端のアンサンブル モデルに基づいて Pelta を評価し、自己注意勾配敵対的攻撃に対するその有効性を実証します。

要約(オリジナル)

The main premise of federated learning is that machine learning model updates are computed locally, in particular to preserve user data privacy, as those never leave the perimeter of their device. This mechanism supposes the general model, once aggregated, to be broadcast to collaborating and non malicious nodes. However, without proper defenses, compromised clients can easily probe the model inside their local memory in search of adversarial examples. For instance, considering image-based applications, adversarial examples consist of imperceptibly perturbed images (to the human eye) misclassified by the local model, which can be later presented to a victim node’s counterpart model to replicate the attack. To mitigate such malicious probing, we introduce Pelta, a novel shielding mechanism leveraging trusted hardware. By harnessing the capabilities of Trusted Execution Environments (TEEs), Pelta masks part of the back-propagation chain rule, otherwise typically exploited by attackers for the design of malicious samples. We evaluate Pelta on a state of the art ensemble model and demonstrate its effectiveness against the Self Attention Gradient adversarial Attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google