Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning

要約

狭義の人工知能から超人工知能に移行するにつれて、ユーザーは自分のプライバシーと機械学習 (ML) テクノロジーの信頼性についての懸念をますます高めています。
信頼性の指標の共通点は、DL アルゴリズム、特にモデル パラメーター、入力データ、モデル予測に固有の不確実性を定量化することです。
DL におけるプライバシー関連の問題に対処する一般的なアプローチの 1 つは、プライベートの生データがユーザー間で共有されないフェデレーション ラーニング (FL) などの分散学習を採用することです。
フロリダ州にはプライバシー保護の仕組みがあるにもかかわらず、依然として信頼性の点で課題に直面しています。
具体的には、悪意のあるユーザーは、トレーニング中に悪意のあるモデル パラメーターを体系的に作成して、モデルの予測機能と生成機能を侵害する可能性があり、その結果、信頼性について高い不確実性が生じます。
悪意のある動作を実証するために、グローバル モデル出力の不確実性を最大化することを目的とした Delphi という名前の新しいモデル ポイズニング攻撃手法を提案します。
これは、不確実性とローカル モデルの最初の隠れ層のモデル パラメーターの間の関係を利用することで実現されます。
Delphi は、ベイジアン最適化と最小二乗信頼領域という 2 種類の最適化を使用して、Delphi-BO および Delphi-LSTR と呼ばれる最適なポイズニング モデル パラメーターを検索します。
KL ダイバージェンスを使用して不確実性を定量化し、モデル出力の不確実な分布に対する予測確率分布の距離を最小限に抑えます。
さらに、FL で実証された攻撃の有効性の数学的証明を確立します。
数値結果は、Delphi-BO が Delphi-LSTR よりも高い不確実性を引き起こすことを示しており、ポイズニング攻撃をモデル化する際の FL システムの脆弱性を浮き彫りにしています。

要約(オリジナル)

As we transition from Narrow Artificial Intelligence towards Artificial Super Intelligence, users are increasingly concerned about their privacy and the trustworthiness of machine learning (ML) technology. A common denominator for the metrics of trustworthiness is the quantification of uncertainty inherent in DL algorithms, and specifically in the model parameters, input data, and model predictions. One of the common approaches to address privacy-related issues in DL is to adopt distributed learning such as federated learning (FL), where private raw data is not shared among users. Despite the privacy-preserving mechanisms in FL, it still faces challenges in trustworthiness. Specifically, the malicious users, during training, can systematically create malicious model parameters to compromise the models predictive and generative capabilities, resulting in high uncertainty about their reliability. To demonstrate malicious behaviour, we propose a novel model poisoning attack method named Delphi which aims to maximise the uncertainty of the global model output. We achieve this by taking advantage of the relationship between the uncertainty and the model parameters of the first hidden layer of the local model. Delphi employs two types of optimisation , Bayesian Optimisation and Least Squares Trust Region, to search for the optimal poisoned model parameters, named as Delphi-BO and Delphi-LSTR. We quantify the uncertainty using the KL Divergence to minimise the distance of the predictive probability distribution towards an uncertain distribution of model output. Furthermore, we establish a mathematical proof for the attack effectiveness demonstrated in FL. Numerical results demonstrate that Delphi-BO induces a higher amount of uncertainty than Delphi-LSTR highlighting vulnerability of FL systems to model poisoning attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google