In-depth Analysis of Low-rank Matrix Factorisation in a Federated Setting

要約

分散アルゴリズムを分析して、それぞれがローカル データセット $\mathbf{S}^i \in \mathbb{R}^{n_i \times d}$ を保持する $N$ クライアント上で低ランク行列因数分解を計算します。数学的には、
$min_{\mathbf{U}^i \in \mathbb{R}^{n_i\times r}, \mathbf{V}\in \mathbb{R}^{d \times r} } \ を解こうとします。
frac{1}{2} \sum_{i=1}^N \|\mathbf{S}^i – \mathbf{U}^i \mathbf{V}^\top\|^2_{\text{F
}}$。
$\mathbf{V}$ のべき乗の初期化を考慮して、以前の滑らかな非凸問題を滑らかな強凸問題に書き換えます。この問題は、初期化ステップで通信の単一ステップを必要とする可能性がある並列ネステロフ勾配降下法を使用して解決します。
$\{1, \dots, N\}$ 内の任意のクライアント $i$ について、すべてのクライアントに共通な $\mathbb{R}^{d \times r}$ 内のグローバル $\mathbf{V}$ を取得します。
$\mathbb{R}^{n_i \times r}$ のローカル変数 $\mathbf{U}^i$ です。
$\sigma_{\max} / \sigma_{r}$ に依存する超過損失の線形収束率を提供します。ここで、$\sigma_{r}$ は $r^{\mathrm{th}}$ です
行列 $(\mathbf{S}^i)_{i=1}^N$ の連結 $\mathbf{S}$ の特異値。
この結果により、$\sigma_{\max}^2 / \sigma_{\min}^2$ に依存する文献で示されている収束率が向上します。
電力初期化戦略の下での再構成のフロベニウスノルム誤差の上限を提供します。
合成データと実際のデータの両方を実験して分析を完了します。

要約(オリジナル)

We analyze a distributed algorithm to compute a low-rank matrix factorization on $N$ clients, each holding a local dataset $\mathbf{S}^i \in \mathbb{R}^{n_i \times d}$, mathematically, we seek to solve $min_{\mathbf{U}^i \in \mathbb{R}^{n_i\times r}, \mathbf{V}\in \mathbb{R}^{d \times r} } \frac{1}{2} \sum_{i=1}^N \|\mathbf{S}^i – \mathbf{U}^i \mathbf{V}^\top\|^2_{\text{F}}$. Considering a power initialization of $\mathbf{V}$, we rewrite the previous smooth non-convex problem into a smooth strongly-convex problem that we solve using a parallel Nesterov gradient descent potentially requiring a single step of communication at the initialization step. For any client $i$ in $\{1, \dots, N\}$, we obtain a global $\mathbf{V}$ in $\mathbb{R}^{d \times r}$ common to all clients and a local variable $\mathbf{U}^i$ in $\mathbb{R}^{n_i \times r}$. We provide a linear rate of convergence of the excess loss which depends on $\sigma_{\max} / \sigma_{r}$, where $\sigma_{r}$ is the $r^{\mathrm{th}}$ singular value of the concatenation $\mathbf{S}$ of the matrices $(\mathbf{S}^i)_{i=1}^N$. This result improves the rates of convergence given in the literature, which depend on $\sigma_{\max}^2 / \sigma_{\min}^2$. We provide an upper bound on the Frobenius-norm error of reconstruction under the power initialization strategy. We complete our analysis with experiments on both synthetic and real data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google