A Dynamic Linear Bias Incorporation Scheme for Nonnegative Latent Factor Analysis

要約

高次元かつ不完全 (HDI) データは、ソーシャル ネットワーク サービス システムなどのビッグ データ関連アプリケーションでよく発生します。これらのアプリケーションは、多数のノード間の限定された対話に関係します。
HDI データからの知識の取得は、ノードの動作などの豊富なパターンが組み込まれているため、データ サイエンスの分野では重要な問題であり、基本的なタスクは HDI データ表現の学習を実行することです。
非負潜在因子分析 (NLFA) モデルは、この問題に対処するのに優れていることが証明されています。線形バイアス組み込み (LBI) スキームは、現在のトレーニングのオーバーシュートと変動を考慮し、モデルの早期収束を防ぐために重要です。
ただし、既存の LBI スキームはすべて線形バイアスが固定された統計的なスキームであるため、結果として得られる NLFA モデルのスケーラビリティが大幅に制限され、HDI データに対する表現学習能力が失われます。
上記の発見に動機付けられて、この論文は動的線形バイアス組み込み (DLBI) スキームを革新的に提示します。
まず線形バイアス ベクトルを行列に拡張し、次にバイナリ重み行列を構築して線形バイアスのアクティブ/非アクティブ状態を切り替えます。
重み行列の各エントリは、線形バイアス値の変化に対応するバイナリ状態を動的に切り替え、それによって NLFA モデルの動的な線形バイアスを確立します。
実際のアプリケーションからの 3 つの HDI データセットに関する実証研究は、提案された DLBI ベースの NLFA モデルが、最先端のモデルよりも高い表現精度と、非常に競争力の高い計算効率を獲得していることを示しています。

要約(オリジナル)

High-Dimensional and Incomplete (HDI) data is commonly encountered in big data-related applications like social network services systems, which are concerning the limited interactions among numerous nodes. Knowledge acquisition from HDI data is a vital issue in the domain of data science due to their embedded rich patterns like node behaviors, where the fundamental task is to perform HDI data representation learning. Nonnegative Latent Factor Analysis (NLFA) models have proven to possess the superiority to address this issue, where a linear bias incorporation (LBI) scheme is important in present the training overshooting and fluctuation, as well as preventing the model from premature convergence. However, existing LBI schemes are all statistic ones where the linear biases are fixed, which significantly restricts the scalability of the resultant NLFA model and results in loss of representation learning ability to HDI data. Motivated by the above discoveries, this paper innovatively presents the dynamic linear bias incorporation (DLBI) scheme. It firstly extends the linear bias vectors into matrices, and then builds a binary weight matrix to switch the active/inactive states of the linear biases. The weight matrix’s each entry switches between the binary states dynamically corresponding to the linear bias value variation, thereby establishing the dynamic linear biases for an NLFA model. Empirical studies on three HDI datasets from real applications demonstrate that the proposed DLBI-based NLFA model obtains higher representation accuracy several than state-of-the-art models do, as well as highly-competitive computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google