DePRL: Achieving Linear Convergence Speedup in Personalized Decentralized Learning with Shared Representations

要約

分散学習は、中央サーバーの必要性による高い通信負荷、単一点障害、およびスケーラビリティの問題に悩まされる一般的なパラメーター サーバー フレームワークに代わる方法として登場しました。
ただし、既存の研究のほとんどは、データの異質性の問題に関係なく、すべてのワーカーに対する単一の共有モデルに焦点を当てており、結果として得られるモデルは個々のワーカーに対してパフォーマンスが低下します。
この研究では、共有表現を介した DePRL という名前の新しい個別化された分散学習アルゴリズムを提案します。
私たちのアルゴリズムは、表現学習理論のアイデアに基づいて、完全に分散された方法ですべてのワーカー間で低次元のグローバル表現を共同で学習し、各ワーカーにパーソナライズされたソリューションにつながるユーザー固有の低次元のローカルヘッドを学習します。
我々は、DePRL が一般的な非線形表現を使用して収束に関して証明可能な線形の高速化を初めて達成することを示します (つまり、ワーカーの数に対して収束率が線形に改善されます)。
実験結果は、データの異種混合環境における私たちの方法の優位性を示す理論的発見を裏付けています。

要約(オリジナル)

Decentralized learning has emerged as an alternative method to the popular parameter-server framework which suffers from high communication burden, single-point failure and scalability issues due to the need of a central server. However, most existing works focus on a single shared model for all workers regardless of the data heterogeneity problem, rendering the resulting model performing poorly on individual workers. In this work, we propose a novel personalized decentralized learning algorithm named DePRL via shared representations. Our algorithm relies on ideas from representation learning theory to learn a low-dimensional global representation collaboratively among all workers in a fully decentralized manner, and a user-specific low-dimensional local head leading to a personalized solution for each worker. We show that DePRL achieves, for the first time, a provable linear speedup for convergence with general non-linear representations (i.e., the convergence rate is improved linearly with respect to the number of workers). Experimental results support our theoretical findings showing the superiority of our method in data heterogeneous environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google