High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent

要約

高次元性とスパース性を特徴とするデータは、現実世界のノードの相互作用を記述するためによく使用されます。
低ランク表現 (LR) は、高次元スパース (HDS) データを低次元の特徴空間にマッピングし、データの潜在的な関連付けをモデリングすることでノードの相互作用を推測できます。
残念ながら、LR モデルの既存の最適化アルゴリズムは計算効率が低く、大規模なデータセットでは収束が遅くなります。
この問題に対処するために、この論文では、次の 3 つの折り畳まれたアイデアを備えた高次元スパース データの低ランク表現のための高速非同期並列確率的勾配降下 A2PSGD を提案します。 a) 複数のスレッドからのスケジューリング要求に同時に応答するロックフリー スケジューラを確立する。
b) スレッド間の計算負荷を分散するための貪欲なアルゴリズムベースの負荷分散戦略を導入する。
c) ネステロフの加速勾配を学習スキームに組み込んでモデルの収束を加速します。
実証研究によると、A2PSGD は、精度とトレーニング時間の両方において、HDS データ LR の既存の最適化アルゴリズムよりも優れています。

要約(オリジナル)

Data characterized by high dimensionality and sparsity are commonly used to describe real-world node interactions. Low-rank representation (LR) can map high-dimensional sparse (HDS) data to low-dimensional feature spaces and infer node interactions via modeling data latent associations. Unfortunately, existing optimization algorithms for LR models are computationally inefficient and slowly convergent on large-scale datasets. To address this issue, this paper proposes an Accelerated Asynchronous Parallel Stochastic Gradient Descent A2PSGD for High-Dimensional Sparse Data Low-rank Representation with three fold-ideas: a) establishing a lock-free scheduler to simultaneously respond to scheduling requests from multiple threads; b) introducing a greedy algorithm-based load balancing strategy for balancing the computational load among threads; c) incorporating Nesterov’s accelerated gradient into the learning scheme to accelerate model convergence. Empirical studies show that A2PSGD outperforms existing optimization algorithms for HDS data LR in both accuracy and training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google