Fundamental Limits of Hierarchical Secure Aggregation with Cyclic User Association

要約

セキュアな集約は、クラウドサーバーが多数のクライアントのローカル訓練を受けたモデルの平均モデル（つまり、深いニューラルネットワークの重み）を計算することを目的としている連合学習（FL）によって動機付けられています。
階層セキュア集約（HSA）は、この概念を3層ネットワークに拡張し、クラスター化されたユーザーが中間層のリレーを介してサーバーと通信します。
HSAでは、従来のサーバーセキュリティを超えて、リレーセキュリティは、リレーがユーザーの入力（フロリダ州のローカルモデルの抽象化）を忘れないようにするために実施されています。
HSAに関する既存の調査では、各ユーザーは1つのリレーのみに関連付けられていると想定しており、クラスター間ユーザー全体でコーディングの機会を制限して、効率的なコミュニケーションとキー生成を達成しています。
このホワイトペーパーでは、各ユーザーがラップアラウンドの方法で$ b $のリレーに接続されている周期的な関連性パターンを備えたHSAを検討します。
Gradient Codingに触発された入力のメッセージデザインを含む効率的な集約スキームを提案します。非常に重要でないセキュリティキーデザインを備えた分散コンピューティングにおける効率的な通信のための有名な技術です。
また、情報の理論的議論を使用して、最小限の達成可能なコミュニケーションとキーレートに関する新しい逆境を導き出します。

要約(オリジナル)

Secure aggregation is motivated by federated learning (FL) where a cloud server aims to compute an averaged model (i.e., weights of deep neural networks) of the locally-trained models of numerous clients, while adhering to data security requirements. Hierarchical secure aggregation (HSA) extends this concept to a three-layer network, where clustered users communicate with the server through an intermediate layer of relays. In HSA, beyond conventional server security, relay security is also enforced to ensure that the relays remain oblivious to the users’ inputs (an abstraction of the local models in FL). Existing study on HSA assumes that each user is associated with only one relay, limiting opportunities for coding across inter-cluster users to achieve efficient communication and key generation. In this paper, we consider HSA with a cyclic association pattern where each user is connected to $B$ consecutive relays in a wrap-around manner. We propose an efficient aggregation scheme which includes a message design for the inputs inspired by gradient coding-a well-known technique for efficient communication in distributed computing-along with a highly nontrivial security key design. We also derive novel converse bounds on the minimum achievable communication and key rates using information-theoretic arguments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google