Distributed Online Private Learning of Convex Nondecomposable Objectives

要約

本論文では、時変ネットワーク上のプライバシーを伴う一般的な分散制約オンライン学習問題を扱う。この設定では、各ノードは大域的決定の一部のみを制御し、全ノードの目標は、送信情報の安全性を保証しつつ、時間地平$T$にわたって大域的コストを協調的に最小化することである。このような問題に対して、われわれはまず、ラプラス機構と双対平均法の確率的変形を用いた、DPSDAと名付けられた新しい汎用アルゴリズムフレームワークを設計する。なお、双対更新において、DPSDAの全てのノードは、より一般性を持たせるために、ノイズ除去された勾配を用いる。次に、このフレームワークの下で、DPSDA-CとDPSDA-PSと名付けられた2つのアルゴリズムを提案する。DPSDA-Cでは、時変無向ネットワーク上の不一致を緩和するために、ノードは原始更新において循環ベースの通信を実装する。また、時変有向ネットワークへの拡張のために、ノードはDPSDA-PSにおいてブロードキャストベースのプッシュサムダイナミクスを実装し、任意の有向ネットワーク上で平均的なコンセンサスを得ることができる。理論的な結果は、両アルゴリズムが、目的関数が凸であるとき、期待される後悔の上限を$mathcal{O}( ˶ˆ꒳ˆ˵ )$で達成することを示しており、これは、最先端のアルゴリズムで達成可能な最高の効用と一致する。最後に、合成データセットと実世界データセットの両方を用いた数値実験結果により、本アルゴリズムの有効性を検証する。

要約(オリジナル)

We deal with a general distributed constrained online learning problem with privacy over time-varying networks, where a class of nondecomposable objectives are considered. Under this setting, each node only controls a part of the global decision, and the goal of all nodes is to collaboratively minimize the global cost over a time horizon $T$ while guarantees the security of the transmitted information. For such problems, we first design a novel generic algorithm framework, named as DPSDA, of differentially private distributed online learning using the Laplace mechanism and the stochastic variants of dual averaging method. Note that in the dual updates, all nodes of DPSDA employ the noise-corrupted gradients for more generality. Then, we propose two algorithms, named as DPSDA-C and DPSDA-PS, under this framework. In DPSDA-C, the nodes implement a circulation-based communication in the primal updates so as to alleviate the disagreements over time-varying undirected networks. In addition, for the extension to time-varying directed ones, the nodes implement the broadcast-based push-sum dynamics in DPSDA-PS, which can achieve average consensus over arbitrary directed networks. Theoretical results show that both algorithms attain an expected regret upper bound in $\mathcal{O}( \sqrt{T} )$ when the objective function is convex, which matches the best utility achievable by cutting-edge algorithms. Finally, numerical experiment results on both synthetic and real-world datasets verify the effectiveness of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL