BeGin: Extensive Benchmark Scenarios and An Easy-to-use Framework for Graph Continual Learning

要約

継続学習 (CL) は、一連のタスクを継続的に学習するプロセスです。
既存の CL 手法のほとんどは、標準的な実験設定での多くのベンチマーク フレームワークと結果が利用可能な独立したデータ (画像やテキストなど) を扱います。
ただし、グラフ データの CL 手法 (グラフ CL) は、(a) 標準的な実験設定、特にインスタンス間の依存関係の処理方法に関する欠如、(b) ベンチマーク データセットとシナリオの欠如、および (
c) 依存関係による実装と評価の複雑さ。
このペーパーでは、(a) に関して、グラフ データの 4 つの標準増分設定 (タスク、クラス、ドメイン、および時間増分) を定義します。これらは、多くのノード、リンク、グラフ レベルに自然に適用されます。
問題。
(b) に関しては、15 の実世界のグラフに基づいた 25 のベンチマーク シナリオを提供します。
(c) に関しては、グラフ CL 用の簡単で確実なフレームワークである BeGin を開発します。
BeGin は、データ処理、アルゴリズム設計、評価用に再利用可能なモジュールでモジュール化されているため、簡単に拡張できます。
特に、評価モジュールはユーザーコードから完全に分離されており、潜在的な間違いを排除します。
上記のすべてを使用して、10 個のグラフ CL メソッドの広範なベンチマーク結果を報告します。
グラフ CL の最新ベンチマークと比較して、BeGin を使用すると、増分設定と問題レベルの 3 倍以上の組み合わせをカバーできます。
ベンチマーク フレームワークのすべてのアセットは、https://github.com/ShinhwanKang/BeGin で入手できます。

要約(オリジナル)

Continual Learning (CL) is the process of learning ceaselessly a sequence of tasks. Most existing CL methods deal with independent data (e.g., images and text) for which many benchmark frameworks and results under standard experimental settings are available. However, CL methods for graph data (graph CL) are surprisingly underexplored because of (a) the lack of standard experimental settings, especially regarding how to deal with the dependency between instances, (b) the lack of benchmark datasets and scenarios, and (c) high complexity in implementation and evaluation due to the dependency. In this paper, regarding (a), we define four standard incremental settings (task-, class-, domain-, and time-incremental) for graph data, which are naturally applied to many node-, link-, and graph-level problems. Regarding (b), we provide 25 benchmark scenarios based on 15 real-world graphs. Regarding (c), we develop BeGin, an easy and fool-proof framework for graph CL. BeGin is easily extended since it is modularized with reusable modules for data processing, algorithm design, and evaluation. Especially, the evaluation module is completely separated from user code to eliminate potential mistakes. Using all the above, we report extensive benchmark results of 10 graph CL methods. Compared to the latest benchmark for graph CL, using BeGin, we cover 3x more combinations of incremental settings and levels of problems. All assets for the benchmark framework are available at https://github.com/ShinhwanKang/BeGin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google