Fast Latent Factor Analysis via a Fuzzy PID-Incorporated Stochastic Gradient Descent Algorithm

要約

高次元不完全 (HDI) マトリックスは、さまざまなビッグデータ関連アプリケーションにおける多数のノード間の複雑な相互作用を表すことができます。
確率的勾配降下 (SGD) ベースの潜在因子分析 (LFA) モデルは、HDI マトリックスから貴重な情報を抽出するのに非常に効果的です。
ただし、標準の SGD アルゴリズムは、過去の更新情報を考慮せずに現在のインスタンス エラーの確率的勾配のみに依存する潜在因子を学習するため、このようなモデルでは通常、収束が遅いという問題が発生します。
この重大な問題に対処するために、この論文では、ファジー PID を組み込んだ SGD (FPS) アルゴリズムを 2 つのアイデアで革新的に提案します。
2) ファジー ルールに従って、ハイパーパラメーターとゲイン パラメーターの適応を実装します。
これにより、HDI マトリックスを高速に処理するために、FPS を組み込んだ LFA モデルがさらに実現されます。
6 つの HDI データセットに関する実証的研究は、提案された FPS を組み込んだ LFA モデルが、HDI マトリックスの欠損データを競合する精度で予測するための計算効率の点で、最先端の LFA モデルよりも大幅に優れていることを示しています。

要約(オリジナル)

A high-dimensional and incomplete (HDI) matrix can describe the complex interactions among numerous nodes in various big data-related applications. A stochastic gradient descent (SGD)-based latent factor analysis (LFA) model is remarkably effective in extracting valuable information from an HDI matrix. However, such a model commonly encounters the problem of slow convergence because a standard SGD algorithm learns a latent factor relying on the stochastic gradient of current instance error only without considering past update information. To address this critical issue, this paper innovatively proposes a Fuzzy PID-incorporated SGD (FPS) algorithm with two-fold ideas: 1) rebuilding the instance learning error by considering the past update information in an efficient way following the principle of PID, and 2) implementing hyper-parameters and gain parameters adaptation following the fuzzy rules. With it, an FPS-incorporated LFA model is further achieved for fast processing an HDI matrix. Empirical studies on six HDI datasets demonstrate that the proposed FPS-incorporated LFA model significantly outperforms the state-of-the-art LFA models in terms of computational efficiency for predicting the missing data of an HDI matrix with competitive accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google