On the Generalization Capability of Temporal Graph Learning Algorithms: Theoretical Insights and a Simpler Method

要約

時間グラフ学習 (TGL) は、現実世界のさまざまなアプリケーション、特にデータがグラフとして表現され、時間の経過とともに進化する領域で広く普及している手法になっています。
TGL は最近、アルゴリズム ソリューションにおいて顕著な進歩を遂げていますが、その理論的基盤は依然としてほとんど解明されていません。
この論文は、有限幅のオーバーパラメータ化領​​域の下で、さまざまな TGL アルゴリズム (GNN ベース、RNN ベース、メモリベースの手法など) の一般化能力を調査することで、このギャップを埋めることを目的としています。
TGL アルゴリズムの汎化誤差と、GNN/RNN ベースの TGL 手法の「レイヤー/ステップの数」および「特徴ラベル アラインメント (FLA) スコア」との間の関係を確立します。FLA はスコアとして使用できます。
表現力を代用し、メモリベースのメソッドのパフォーマンスを説明します。
理論的分析に基づいて、汎化誤差が小さく、全体的なパフォーマンスが向上し、モデルの複雑さが軽減される、Simplified-Temporal-Graph-Network を提案します。
現実世界のデータセットに対する広範な実験により、私たちの手法の有効性が実証されています。
私たちの理論的発見と提案されたアルゴリズムは、理論的観点から TGL に関する重要な洞察を提供し、将来の研究で実用的な TGL アルゴリズムを設計するための基礎を築きます。

要約(オリジナル)

Temporal Graph Learning (TGL) has become a prevalent technique across diverse real-world applications, especially in domains where data can be represented as a graph and evolves over time. Although TGL has recently seen notable progress in algorithmic solutions, its theoretical foundations remain largely unexplored. This paper aims at bridging this gap by investigating the generalization ability of different TGL algorithms (e.g., GNN-based, RNN-based, and memory-based methods) under the finite-wide over-parameterized regime. We establish the connection between the generalization error of TGL algorithms and ‘the number of layers/steps’ in the GNN-/RNN-based TGL methods and ‘the feature-label alignment (FLA) score’, where FLA can be used as a proxy for the expressive power and explains the performance of memory-based methods. Guided by our theoretical analysis, we propose Simplified-Temporal-Graph-Network, which enjoys a small generalization error, improved overall performance, and lower model complexity. Extensive experiments on real-world datasets demonstrate the effectiveness of our method. Our theoretical findings and proposed algorithm offer essential insights into TGL from a theoretical standpoint, laying the groundwork for the designing practical TGL algorithms in future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google