A Meta-learning Framework for Tuning Parameters of Protection Mechanisms in Trustworthy Federated Learning

要約

Trustworthy Federated Learning (TFL) は通常、保護メカニズムを利用してプライバシーを保証します。
ただし、保護メカニズムでは、データのプライバシーを保護しながら、必然的にユーティリティの損失や効率の低下が生じます。
したがって、\textit{プライバシー漏洩}、\textit{ユーティリティ損失}、\textit{効率低下}の間の最適なトレードオフを実現するために、保護メカニズムとそのパラメータを慎重に選択する必要があります。
この目的を達成するために、フェデレーテッド ラーニングの実践者は、3 つの要素を測定し、それらの間のトレードオフを最適化して、対象のアプリケーションに最も適切な保護メカニズムを選択するツールが必要です。
この要件に動機付けられて、我々は、(1) TFL をプライバシー漏洩、ユーティリティ損失、効率低下の間のトレードオフを最適化する保護メカニズムを見つける問題として定式化し、(2) 3 つの要素の制限された測定を正式に定義するフレームワークを提案します。
次に、この最適化問題を近似し、ランダム化、準同型暗号化、秘密共有、圧縮などの代表的な保護メカニズムの最適な保護パラメーターを見つけるためのメタ学習アルゴリズムを提案します。
さらに、実際の水平連合学習設定でこれらの見つかった最適な保護パラメータを定量化する推定アルゴリズムを設計し、推定誤差の理論的分析を提供します。

要約(オリジナル)

Trustworthy Federated Learning (TFL) typically leverages protection mechanisms to guarantee privacy. However, protection mechanisms inevitably introduce utility loss or efficiency reduction while protecting data privacy. Therefore, protection mechanisms and their parameters should be carefully chosen to strike an optimal tradeoff between \textit{privacy leakage}, \textit{utility loss}, and \textit{efficiency reduction}. To this end, federated learning practitioners need tools to measure the three factors and optimize the tradeoff between them to choose the protection mechanism that is most appropriate to the application at hand. Motivated by this requirement, we propose a framework that (1) formulates TFL as a problem of finding a protection mechanism to optimize the tradeoff between privacy leakage, utility loss, and efficiency reduction and (2) formally defines bounded measurements of the three factors. We then propose a meta-learning algorithm to approximate this optimization problem and find optimal protection parameters for representative protection mechanisms, including Randomization, Homomorphic Encryption, Secret Sharing, and Compression. We further design estimation algorithms to quantify these found optimal protection parameters in a practical horizontal federated learning setting and provide a theoretical analysis of the estimation error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google