On the Robustness of Distributed Machine Learning against Transfer Attacks

要約

分散機械学習 (分散 ML) はコミュニティでかなりの注目を集めていますが、これまでの研究では、トレーニング フェーズまたは推論フェーズのいずれかで分散 ML のインスタンスを個別に検討していました。
これまでの研究では、学習プロセスと推論プロセスの両方を分散することで生じる結合された堅牢性を検証したことはありません。
この研究では、トレーニング データ、アーキテクチャ、スケジューラー、オプティマイザー、およびその他のモデル パラメーターが完全に異種である分散 ML モデルの堅牢性を初めて調査します。
CIFAR10 と FashionMNIST を使用した理論と広範な実験による検証に裏付けられ、このように適切に分散された ML インスタンス化により、他の方法では実現できなかった最先端の転送ベースの攻撃に対する精度と堅牢性のトレードオフが全面的に向上することがわかりました。
現在のアンサンブルまたはフェデレーテッド ラーニングのインスタンス化によって。
たとえば、CIFAR10 に関する当社の実験では、最も強力な最先端の転送ベース攻撃の 1 つである Common Weakness 攻撃に対して、当社の手法はクリーン タスクへの影響を最小限に抑えながら、堅牢な精度を最大 40% 向上させることが示されています。
正確さ。

要約(オリジナル)

Although distributed machine learning (distributed ML) is gaining considerable attention in the community, prior works have independently looked at instances of distributed ML in either the training or the inference phase. No prior work has examined the combined robustness stemming from distributing both the learning and the inference process. In this work, we explore, for the first time, the robustness of distributed ML models that are fully heterogeneous in training data, architecture, scheduler, optimizer, and other model parameters. Supported by theory and extensive experimental validation using CIFAR10 and FashionMNIST, we show that such properly distributed ML instantiations achieve across-the-board improvements in accuracy-robustness tradeoffs against state-of-the-art transfer-based attacks that could otherwise not be realized by current ensemble or federated learning instantiations. For instance, our experiments on CIFAR10 show that for the Common Weakness attack, one of the most powerful state-of-the-art transfer-based attacks, our method improves robust accuracy by up to 40%, with a minimal impact on clean task accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google