Temporal Smoothness Regularisers for Neural Link Predictors

要約

リレーショナル データの表現学習とリンク予測のアルゴリズムのほとんどは、静的データ用に設計されています。
ただし、オンライン ソーシャル ネットワークやレコメンダー システム内のユーザーとアイテム間のやり取りなど、それらが適用されるデータは通常、時間の経過とともに進化します。
これは、特定の時点でのみ有効な事実を含むグラフ構造の知識ベース (知識グラフ) にも当てはまります。
このような状況では、正確な時点で欠落しているリンクを正確に特定すること、つまり時間予測リンク タスクが重要になります。
最近、ラクロワら。
およびサデギアンら。
は、4次テンソルの正準分解に触発された時間的制約の下でのナレッジグラフのリンク予測の問題に対する解決策を提案しました。そこでは、時間的平滑化を強制することによって、つまり、隣接するタイムスタンプに対して同様の変換を学習することによって、タイムステップの表現を正規化します。
ただし、時間正則化項の選択の影響はまだよく理解されていません。
この研究では、線形関数とリカレント アーキテクチャを使用して、時間平滑化正規化器のいくつかの選択肢を体系的に分析します。
私たちの実験では、時間平滑化正則化器と正則化重みを慎重に選択することで、TNTComplEx のような単純な方法が、広く使用されている 3 つの時間リンク予測データセットに対して最先端の方法よりも大幅に正確な結果を生成できることを示しました。
さらに、2 つの最先端の時間リンク予測モデルに対する幅広い時間平滑化正則化の影響を評価します。
私たちの研究は、単純なテンソル因数分解モデルが、新しく提案された時間正則化子を使用して新しい最先端の結果を生成できることを示し、将来の研究の有望な道を強調しています。

要約(オリジナル)

Most algorithms for representation learning and link prediction on relational data are designed for static data. However, the data to which they are applied typically evolves over time, including online social networks or interactions between users and items in recommender systems. This is also the case for graph-structured knowledge bases — knowledge graphs — which contain facts that are valid only for specific points in time. In such contexts, it becomes crucial to correctly identify missing links at a precise time point, i.e. the temporal prediction link task. Recently, Lacroix et al. and Sadeghian et al. proposed a solution to the problem of link prediction for knowledge graphs under temporal constraints inspired by the canonical decomposition of 4-order tensors, where they regularise the representations of time steps by enforcing temporal smoothing, i.e. by learning similar transformation for adjacent timestamps. However, the impact of the choice of temporal regularisation terms is still poorly understood. In this work, we systematically analyse several choices of temporal smoothing regularisers using linear functions and recurrent architectures. In our experiments, we show that by carefully selecting the temporal smoothing regulariser and regularisation weight, a simple method like TNTComplEx can produce significantly more accurate results than state-of-the-art methods on three widely used temporal link prediction datasets. Furthermore, we evaluate the impact of a wide range of temporal smoothing regularisers on two state-of-the-art temporal link prediction models. Our work shows that simple tensor factorisation models can produce new state-of-the-art results using newly proposed temporal regularisers, highlighting a promising avenue for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google