A Hassle-free Algorithm for Private Learning in Practice: Don’t Use Tree Aggregation, Use BLTs

要約

モバイル キーボード アプリケーション向けのオンデバイス言語モデルをトレーニングするための最先端技術は、DP-Follow-the- Regularized-Leader (DP-FTRL) アルゴリズムを介してフェデレーテッド ラーニング (FL) と差分プライバシー (DP) を組み合わせています。
実際には、DP-FTRL の 2 つの変形、ツリー集約と行列因数分解が使用されます。
ただし、ツリー集約はプライバシーとユーティリティのトレードオフが大幅に最適ではなく、マトリックス メカニズムでは事前に推定するのが難しい定数によってパラメータ化された高価な最適化と、実行時のメモリ コストが高くなります。この論文は、最近導入されたバッファード リニア テプリッツ (BLT) を拡張したものです。
複数参加シナリオへのメカニズム。
当社の BLT-DP-FTRL は、ツリー集約の使いやすさの利点を維持しながら、実用性とプライバシーの点で行列分解と本質的に一致します。
私たちは、StackOverflow データセット上で BLT-DP-FTRL を評価し、再現可能なシミュレーション ベンチマークとして機能し、運用 FL システムの 4 つのオンデバイス言語モデル タスクにわたって BLT-DP-FTRL を評価します。
私たちの実証結果は、BLT メカニズムの利点を強調し、現実世界のシナリオにおける DP の実用性と有効性を高めます。

要約(オリジナル)

The state-of-the-art for training on-device language models for mobile keyboard applications combines federated learning (FL) with differential privacy (DP) via the DP-Follow-the-Regularized-Leader (DP-FTRL) algorithm. Two variants of DP-FTRL are used in practice, tree aggregation and matrix factorization. However, tree aggregation suffers from significantly suboptimal privacy/utility tradeoffs, while matrix mechanisms require expensive optimization parameterized by hard-to-estimate-in-advance constants, and high runtime memory costs.This paper extends the recently introduced Buffered Linear Toeplitz (BLT) mechanism to multi-participation scenarios. Our BLT-DP-FTRL maintains the ease-of-use advantages of tree aggregation, while essentially matching matrix factorization in terms of utility and privacy. We evaluate BLT-DP-FTRL on the StackOverflow dataset, serving as a re-producible simulation benchmark, and across four on-device language model tasks in a production FL system. Our empirical results highlight the advantages of the BLT mechanism and elevate the practicality and effectiveness of DP in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google