Locally Differentially Private Distributed Online Learning with Guaranteed Optimality

要約

分散オンライン学習は、大規模なデータセットとストリーミング データを処理する独自の機能により、ますます注目を集めています。
プライバシー保護に対する国民の意識と懸念の高まりに対処するために、分散型オンラインの最適化と学習において差分プライバシーを可能にするアルゴリズムが多数提案されています。
ただし、これらのアルゴリズムは、学習精度とプライバシーを引き換えにするというジレンマに直面することがよくあります。
この論文では、オンライン学習の固有の特性を活用することで、このジレンマに取り組み、分散型オンライン学習における差分プライバシーと学習精度の両方を確保するアプローチを提案します。
より具体的には、このアプローチは、予想される瞬間的な後悔の減少を確実にしながら、同時に、たとえ無限の時間軸においても、有限の累積プライバシー予算を確保することができる。
完全分散設定に対応するために、ローカルの差分プライバシー フレームワークを採用しています。これにより、信頼できるデータ キュレーターへの依存が回避され、従来の「集中型」(グローバル) 差分プライバシーよりも強力な保護が提供されます。
私たちの知る限り、これは厳密なローカル差分プライバシーと学習精度の両方を確保することに成功した最初のアルゴリズムです。
提案されたアルゴリズムの有効性は、「キノコ」データセットのロジスティック回帰や「MNIST」および「CIFAR-10」データセットの CNN ベースの画像分類などの機械学習タスクを使用して評価されます。

要約(オリジナル)

Distributed online learning is gaining increased traction due to its unique ability to process large-scale datasets and streaming data. To address the growing public awareness and concern on privacy protection, plenty of algorithms have been proposed to enable differential privacy in distributed online optimization and learning. However, these algorithms often face the dilemma of trading learning accuracy for privacy. By exploiting the unique characteristics of online learning, this paper proposes an approach that tackles the dilemma and ensures both differential privacy and learning accuracy in distributed online learning. More specifically, while ensuring a diminishing expected instantaneous regret, the approach can simultaneously ensure a finite cumulative privacy budget, even in the infinite time horizon. To cater for the fully distributed setting, we adopt the local differential-privacy framework, which avoids the reliance on a trusted data curator, and, hence, provides stronger protection than the classic ‘centralized’ (global) differential privacy. To the best of our knowledge, this is the first algorithm that successfully ensures both rigorous local differential privacy and learning accuracy. The effectiveness of the proposed algorithm is evaluated using machine learning tasks, including logistic regression on the the ‘mushrooms’ datasets and CNN-based image classification on the ‘MNIST’ and ‘CIFAR-10’ datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google