Curriculum Learning for Graph Neural Networks: A Multiview Competence-based Approach

要約

カリキュラムは計画された一連の学習教材であり、効果的なカリキュラムは、人間と機械の両方にとって学習を効率的かつ効果的にすることができます。
最近の研究では、言語アプリケーションでグラフ ニューラル ネットワークをトレーニングするための効果的なデータ駆動型カリキュラム学習アプローチが開発されました。
ただし、既存のカリキュラム学習アプローチでは、トレーニング パラダイムにおいて単一の難易度基準が採用されていることがよくあります。
この論文では、グラフの複雑さの形式主義（難易度基準として）とトレーニング中のモデル能力に基づいた新しいアプローチを導入することにより、カリキュラム学習に関する新しい視点を提案します。
このモデルは、トレーニング中のサンプルの難易度やモデルの能力に関するさまざまな観点を考慮して、効果的なカリキュラムを導き出すスケジューリング スキームで構成されています。
提案されたソリューションは、グラフ ニューラル ネットワークのカリキュラム学習における既存の研究を前進させ、トレーニング パラダイムにきめ細かいグラフの難易度基準を組み込むことができます。
現実世界のリンク予測タスクとノード分類タスクに関する実験結果は、提案されたアプローチの有効性を示しています。

要約(オリジナル)

A curriculum is a planned sequence of learning materials and an effective one can make learning efficient and effective for both humans and machines. Recent studies developed effective data-driven curriculum learning approaches for training graph neural networks in language applications. However, existing curriculum learning approaches often employ a single criterion of difficulty in their training paradigms. In this paper, we propose a new perspective on curriculum learning by introducing a novel approach that builds on graph complexity formalisms (as difficulty criteria) and model competence during training. The model consists of a scheduling scheme which derives effective curricula by accounting for different views of sample difficulty and model competence during training. The proposed solution advances existing research in curriculum learning for graph neural networks with the ability to incorporate a fine-grained spectrum of graph difficulty criteria in their training paradigms. Experimental results on real-world link prediction and node classification tasks illustrate the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google