Differentially Private Distributed Estimation and Learning

要約

私たちは、エージェントが個人的に観察したサンプルから確率変数の未知の統計的特性を推定するために情報を交換するネットワーク環境における分散推定と学習の問題を研究します。
エージェントは個人的な観察に関する情報を交換することで未知の量を集合的に推定できますが、プライバシーのリスクにも直面します。
当社の新しいアルゴリズムは、既存の分散推定文献を拡張し、参加するエージェントがオフラインまたはオンラインで長期間にわたって取得したプライベート信号から完全で十分な統計を推定し、信号と近隣ネットワークのプライバシーを保護できるようにします。
これは、オフラインとオンラインの両方で、差分プライバシー (DP) 制約に従って交換された推定値にノイズを追加する、調整されたランダム化スキームを備えた線形集約スキームによって実現されます。
収束率分析と厳密な有限時間収束限界を提供します。
最良の推定値への収束時間を最小化するノイズはラプラス ノイズであり、パラメータは信号およびネットワーク特性に対する各エージェントの感度に対応することを示します。
当社のアルゴリズムは、動的なトポロジーに適応し、プライバシーと精度のトレードオフのバランスをとります。
最後に、理論的結果を補足および検証するために、米国の送電網ネットワークからの実世界データとドイツの家庭からの電力消費データに対して実験を実行し、すべてのプライバシー体制下での発電所と家庭の平均電力消費量を推定し、
この方法は、既存の一次のプライバシーを意識した分散最適化方法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

We study distributed estimation and learning problems in a networked environment where agents exchange information to estimate unknown statistical properties of random variables from their privately observed samples. The agents can collectively estimate the unknown quantities by exchanging information about their private observations, but they also face privacy risks. Our novel algorithms extend the existing distributed estimation literature and enable the participating agents to estimate a complete sufficient statistic from private signals acquired offline or online over time and to preserve the privacy of their signals and network neighborhoods. This is achieved through linear aggregation schemes with adjusted randomization schemes that add noise to the exchanged estimates subject to differential privacy (DP) constraints, both in an offline and online manner. We provide convergence rate analysis and tight finite-time convergence bounds. We show that the noise that minimizes the convergence time to the best estimates is the Laplace noise, with parameters corresponding to each agent’s sensitivity to their signal and network characteristics. Our algorithms are amenable to dynamic topologies and balancing privacy and accuracy trade-offs. Finally, to supplement and validate our theoretical results, we run experiments on real-world data from the US Power Grid Network and electric consumption data from German Households to estimate the average power consumption of power stations and households under all privacy regimes and show that our method outperforms existing first-order, privacy-aware, distributed optimization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google