Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant

要約

暗号化されたデータに対するロジスティック回帰トレーニングは、何年もの間、セキュリティ上の懸念に対して魅力的なアイデアでした。
この論文では、準同型暗号化ドメインでロジスティック回帰トレーニングを実装するために $\texttt{quadratic gradient}$ と呼ばれるより高速な勾配バリアントを提案します。そのコアは、単純化された固定ヘッシアンの拡張と見なすことができます。
この勾配バリアントを使用して、ネステロフの加速勾配 (NAG) と適応勾配アルゴリズム (Adagrad) をそれぞれ強化し、いくつかのデータセットで強化されたアルゴリズムを評価します。
実験結果は、強化された方法が、単純な一次勾配法と比較して、収束速度において最先端のパフォーマンスを発揮することを示しています。
次に、強化された NAG メソッドを採用して準同型ロジスティック回帰トレーニングを実装し、$3$ の繰り返しだけで同等の結果を取得します。

要約(オリジナル)

Logistic regression training over encrypted data has been an attractive idea to security concerns for years. In this paper, we propose a faster gradient variant called $\texttt{quadratic gradient}$ to implement logistic regression training in a homomorphic encryption domain, the core of which can be seen as an extension of the simplified fixed Hessian. We enhance Nesterov’s accelerated gradient (NAG) and Adaptive Gradient Algorithm (Adagrad) respectively with this gradient variant and evaluate the enhanced algorithms on several datasets. Experimental results show that the enhanced methods have a state-of-the-art performance in convergence speed compared to the naive first-order gradient methods. We then adopt the enhanced NAG method to implement homomorphic logistic regression training and obtain a comparable result by only $3$ iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google