Expressive variational quantum circuits provide inherent privacy in federated learning

要約

フェデレーション ラーニングは、実際に中央アグリゲーターとデータを共有する必要なく、機械学習モデルをトレーニングするための実行可能な分散ソリューションとして登場しました。
ただし、標準的なニューラル ネットワーク ベースの連合学習モデルは、サーバーと共有される勾配からのデータ漏洩の影響を受けやすいことがわかっています。
この研究では、表現力豊かなエンコード マップと過剰パラメータ化された分析を組み合わせて構築された変分量子回路モデルによるフェデレーテッド ラーニングを導入します。
表現力豊かなマップが勾配反転攻撃に対する固有のプライバシーをもたらし、一方、過剰なパラメータ化によりモデルのトレーニング可能性が確保されることを示します。
私たちのプライバシー フレームワークは、量子回路の勾配によって生成される高度な多変量チェビシェフ多項式の系を解く複雑さに重点を置いています。
我々は、正確なシナリオと近似的なシナリオの両方で、これらの方程式を解くことの本質的な難しさを強調する説得力のある議論を提示します。
さらに、機械学習ベースの攻撃戦略を詳しく調査し、元のフェデレーテッド ラーニング モデルの過剰パラメータ化と攻撃モデルの過小パラメータ化の間の直接的な関係を確立します。
さらに、攻撃モデルの表現力豊かなマップのパラメータ化が不十分であると、損失状況が指数関数的に多くの偽の極小点で埋め尽くされ、その結果、攻撃の成功を実現することが非常に困難になることを示す数値スケーリングの議論を提供します。
これは、量子機械学習モデルの性質が本質的にフェデレーテッド ラーニングにおけるデータ漏洩の防止に役立つという強力な主張を初めて提供します。

要約(オリジナル)

Federated learning has emerged as a viable distributed solution to train machine learning models without the actual need to share data with the central aggregator. However, standard neural network-based federated learning models have been shown to be susceptible to data leakage from the gradients shared with the server. In this work, we introduce federated learning with variational quantum circuit model built using expressive encoding maps coupled with overparameterized ans\’atze. We show that expressive maps lead to inherent privacy against gradient inversion attacks, while overparameterization ensures model trainability. Our privacy framework centers on the complexity of solving the system of high-degree multivariate Chebyshev polynomials generated by the gradients of quantum circuit. We present compelling arguments highlighting the inherent difficulty in solving these equations, both in exact and approximate scenarios. Additionally, we delve into machine learning-based attack strategies and establish a direct connection between overparameterization in the original federated learning model and underparameterization in the attack model. Furthermore, we provide numerical scaling arguments showcasing that underparameterization of the expressive map in the attack model leads to the loss landscape being swamped with exponentially many spurious local minima points, thus making it extremely hard to realize a successful attack. This provides a strong claim, for the first time, that the nature of quantum machine learning models inherently helps prevent data leakage in federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google