Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures

要約

社会、金融、生物学の領域に蔓延する、進化する相互作用を特徴とするシステムは、連続時間ダイナミック グラフ (CTDG) として効果的にモデル化されます。
これらのグラフ データセットの規模と複雑さを管理するには、機械学習 (ML) アプローチが不可欠になっています。
ただし、従来の静的グラフ手法ではイベントのタイミングが自然に考慮されていないため、CTDG は ML に課題をもたらします。
グラフリカレントニューラルネットワーク (GRNN) などの新しいアプローチは本質的に時間を認識しており、CTDG の静的手法よりも利点があります。
しかし、GRNN は別の問題、つまり時間逆伝播 (BPTT) の短縮という別の問題に直面しており、その影響はこれまで適切に調査されていませんでした。
この研究では、この切り捨てによりシングル ホップを超えた依存関係の学習が制限され、パフォーマンスが低下する可能性があることを示します。
新しい合成タスクと実世界のデータセットの実験を通じて、GRNN モデルのトレーニングに一般的に使用される完全な時間的逆伝播 (F-BPTT) と短縮された時間的逆伝播 (T-BPTT) との間のパフォーマンスのギャップを明らかにしました。
私たちはこのギャップを「トランケーション・ギャップ」と呼び、CTDGの重要性が高まるにつれ、このギャップを理解し、対処することが不可欠であると主張し、この分野における研究の潜在的な将来の方向性について議論します。

要約(オリジナル)

Systems characterized by evolving interactions, prevalent in social, financial, and biological domains, are effectively modeled as continuous-time dynamic graphs (CTDGs). To manage the scale and complexity of these graph datasets, machine learning (ML) approaches have become essential. However, CTDGs pose challenges for ML because traditional static graph methods do not naturally account for event timings. Newer approaches, such as graph recurrent neural networks (GRNNs), are inherently time-aware and offer advantages over static methods for CTDGs. However, GRNNs face another issue: the short truncation of backpropagation-through-time (BPTT), whose impact has not been properly examined until now. In this work, we demonstrate that this truncation can limit the learning of dependencies beyond a single hop, resulting in reduced performance. Through experiments on a novel synthetic task and real-world datasets, we reveal a performance gap between full backpropagation-through-time (F-BPTT) and the truncated backpropagation-through-time (T-BPTT) commonly used to train GRNN models. We term this gap the ‘truncation gap’ and argue that understanding and addressing it is essential as the importance of CTDGs grows, discussing potential future directions for research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google