RQP-SGD: Differential Private Machine Learning through Noisy SGD and Randomized Quantization

要約

IoT デバイスの台頭により、リアルタイムで効率的かつ安全なデータ処理を備えたエッジでの機械学習の導入に対する需要が高まっています。
この文脈では、実数値の重みパラメーターを使用して機械学習 (ML) モデルを実装することは、特に大規模なモデルでは非現実的であることが判明する可能性があり、量子化された離散重みを使用してモデルをトレーニングする必要があります。
同時に、これらの低次元モデルは、基礎となるデータセットのプライバシーを保護する必要もあります。
この研究では、低メモリ ML アット ザ エッジの機械学習モデルをトレーニングするためのプライバシー保護量子化の新しいアプローチである RQP-SGD を紹介します。
このアプローチは、差分プライベート確率的勾配降下法 (DP-SGD) とランダム化量子化を組み合わせたもので、機械学習における測定可能なプライバシー保証を提供します。
特に、凸型の目的と量子化制約を持つ ML タスクに RQP-SGD を実装するユーティリティの収束を研究し、決定論的な量子化に対するその有効性を実証します。
2 つのデータセットに対して行われた実験を通じて、RQP-SGD の実際的な有効性を示します。

要約(オリジナル)

The rise of IoT devices has prompted the demand for deploying machine learning at-the-edge with real-time, efficient, and secure data processing. In this context, implementing machine learning (ML) models with real-valued weight parameters can prove to be impractical particularly for large models, and there is a need to train models with quantized discrete weights. At the same time, these low-dimensional models also need to preserve privacy of the underlying dataset. In this work, we present RQP-SGD, a new approach for privacy-preserving quantization to train machine learning models for low-memory ML-at-the-edge. This approach combines differentially private stochastic gradient descent (DP-SGD) with randomized quantization, providing a measurable privacy guarantee in machine learning. In particular, we study the utility convergence of implementing RQP-SGD on ML tasks with convex objectives and quantization constraints and demonstrate its efficacy over deterministic quantization. Through experiments conducted on two datasets, we show the practical effectiveness of RQP-SGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google