Iterative Sketching for Secure Coded Regression

要約

線形回帰は教師あり機械学習における基本的かつ原始的な問題であり、疫学から金融に至るまで応用されています。
この研究では、分散線形回帰を高速化する方法を提案します。
これをランダム化技術を活用することで実現すると同時に、非同期分散コンピューティング システムのセキュリティと分散回復力も確保します。
具体的には、方程式系の基底をランダムに回転させてブロックをサブサンプリングすることで、情報を確保し、回帰問題の次元を同時に削減します。
私たちの設定では、基底回転は近似勾配コーディング スキームのエンコードされた暗号化に対応し、サブサンプリングは集中型コード化コンピューティング フレームワークの非分散サーバーの応答に対応します。
これにより、行列圧縮と最急降下に対する分散型反復確率論的アプローチが実現します。

要約(オリジナル)

Linear regression is a fundamental and primitive problem in supervised machine learning, with applications ranging from epidemiology to finance. In this work, we propose methods for speeding up distributed linear regression. We do so by leveraging randomized techniques, while also ensuring security and straggler resiliency in asynchronous distributed computing systems. Specifically, we randomly rotate the basis of the system of equations and then subsample blocks, to simultaneously secure the information and reduce the dimension of the regression problem. In our setup, the basis rotation corresponds to an encoded encryption in an approximate gradient coding scheme, and the subsampling corresponds to the responses of the non-straggling servers in the centralized coded computing framework. This results in a distributive iterative stochastic approach for matrix compression and steepest descent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google