A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation

要約

タイトル：動的ネットワーク表現のためのモーメンタム組み込みインコーポレーテッド非負ラテント因子分解テンソルモデル

要約：
– 大規模動的ネットワークは多くのビッグデータ関連アプリケーションにおいて重要なデータソースであり、多数のエンティティと大規模な動的相互作用を含んでいる。
– これらは高次元不完全テンソルとしてモデル化でき、時間パターンに関する知識を豊富に含んでいる。
– テンソルの潜在因子分解モデルは、この時間パターンを効率的に抽出することができ、確率的勾配降下法（SGD）ソルバーを使って確立できる。
– しかし、SGDに基づくLFTモデルはしばしばトレーニングのスキームに制限があり、収束性が悪い。
– この論文では、モーメンタムを組み込んだSGDに基づく新しい非線形LFTモデル（MNNL）を提案し、HDIテンソルから非負の潜在因子を抽出し、トレーニングを制約なく、一般的なトレーニングスキームに適合させて、収束精度と速度を改善する。
– 2つのLDNデータセットにおける実験的研究により、既存のモデルと比較して、MNNLモデルはより高い予測精度と収束速度を持つことが示された。

要約(オリジナル)

A large-scale dynamic network (LDN) is a source of data in many big data-related applications due to their large number of entities and large-scale dynamic interactions. They can be modeled as a high-dimensional incomplete (HDI) tensor that contains a wealth of knowledge about time patterns. A Latent factorization of tensors (LFT) model efficiently extracts this time pattern, which can be established using stochastic gradient descent (SGD) solvers. However, LFT models based on SGD are often limited by training schemes and have poor tail convergence. To solve this problem, this paper proposes a novel nonlinear LFT model (MNNL) based on momentum-incorporated SGD, which extracts non-negative latent factors from HDI tensors to make training unconstrained and compatible with general training schemes, while improving convergence accuracy and speed. Empirical studies on two LDN datasets show that compared to existing models, the MNNL model has higher prediction accuracy and convergence speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI