AGALE: A Graph-Aware Continual Learning Evaluation Framework

要約

近年、連続学習 (CL) 技術により、特にユークリッド データの領域で、連続するタスク間で知識を保持しながらストリーミング データから学習することが大幅に進歩しました。
公正な評価を促進し、CL 設定における課題を認識するために、主にユークリッド データの単一および複数ラベルの分類タスクに焦点を当てた、いくつかの評価フレームワークが提案されています。
ただし、これらの評価フレームワークは、グラフに固有の位相構造を考慮していないため、入力データがグラフ構造である場合には簡単には適用できません。
既存の継続グラフ学習 (CGL) 評価フレームワークは、主にノード分類 (NC) タスクにおける単一ラベルのシナリオに焦点を当ててきました。
この焦点は、ノードが複数のラベルとの提携を示し、同時に複数のタスクに参加する可能性がある、複数ラベルのシナリオの複雑さを見落としてきました。
私たちは、単一ラベルのノードと複数ラベルのノードの両方に対応するグラフ認識評価 (\agale) フレームワークを開発し、以前の評価フレームワークの制限に対処します。
特に、新しい増分設定を定義し、CGL データセットに合わせたデータ分割アルゴリズムを考案します。
私たちは、継続的学習、継続的グラフ学習、および動的グラフ学習 (DGL) のドメインの方法を比較する広範な実験を実行します。
私たちは \agale を理論的に分析し、比較された手法のパフォーマンスにおける同質性の役割についての新しい洞察を提供します。
https://github.com/Tianqi-py/AGALE でフレームワークをリリースします。

要約(オリジナル)

In recent years, continual learning (CL) techniques have made significant progress in learning from streaming data while preserving knowledge across sequential tasks, particularly in the realm of euclidean data. To foster fair evaluation and recognize challenges in CL settings, several evaluation frameworks have been proposed, focusing mainly on the single- and multi-label classification task on euclidean data. However, these evaluation frameworks are not trivially applicable when the input data is graph-structured, as they do not consider the topological structure inherent in graphs. Existing continual graph learning (CGL) evaluation frameworks have predominantly focussed on single-label scenarios in the node classification (NC) task. This focus has overlooked the complexities of multi-label scenarios, where nodes may exhibit affiliations with multiple labels, simultaneously participating in multiple tasks. We develop a graph-aware evaluation (\agale) framework that accommodates both single-labeled and multi-labeled nodes, addressing the limitations of previous evaluation frameworks. In particular, we define new incremental settings and devise data partitioning algorithms tailored to CGL datasets. We perform extensive experiments comparing methods from the domains of continual learning, continual graph learning, and dynamic graph learning (DGL). We theoretically analyze \agale and provide new insights about the role of homophily in the performance of compared methods. We release our framework at https://github.com/Tianqi-py/AGALE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google