Banded Square Root Matrix Factorization for Differentially Private Model Training

要約

差次的にプライベートモデルトレーニングの最新の方法は、マトリックス因数分解技術に基づいています。
ただし、これらの方法は、実際のモデルトレーニングの前にほぼ最適な因子化を決定するために、厳しい最適化問題を数値的に解く必要があるため、高い計算オーバーヘッドに悩まされています。
この作業では、この計算ボトルネックを克服する新しいマトリックス因子化アプローチBSRを提示します。
標準のマトリックス平方根の特性を活用することにより、BSRは大規模な問題も効率的に処理することができます。
運動量と体重減衰を伴う確率勾配降下の重要なシナリオについては、計算オーバーヘッドを無視できるBSRの分析式を導き出します。
集中化された学習設定と連邦学習設定の両方に保持される近似品質の境界を証明します。
私たちの数値実験は、BSRを使用してトレーニングされたモデルが最良の既存の方法と同等に機能し、計算オーバーヘッドを完全に回避することを示しています。

要約(オリジナル)

Current state-of-the-art methods for differentially private model training are based on matrix factorization techniques. However, these methods suffer from high computational overhead because they require numerically solving a demanding optimization problem to determine an approximately optimal factorization prior to the actual model training. In this work, we present a new matrix factorization approach, BSR, which overcomes this computational bottleneck. By exploiting properties of the standard matrix square root, BSR allows to efficiently handle also large-scale problems. For the key scenario of stochastic gradient descent with momentum and weight decay, we even derive analytical expressions for BSR that render the computational overhead negligible. We prove bounds on the approximation quality that hold both in the centralized and in the federated learning setting. Our numerical experiments demonstrate that models trained using BSR perform on par with the best existing methods, while completely avoiding their computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google