Heterogeneous Graph Neural Networks with Loss-decrease-aware Curriculum Learning

要約

近年、異種グラフ ニューラル ネットワーク (HGNN) は、異種情報ネットワーク (HIN) の処理において優れたパフォーマンスを達成しています。
カリキュラム学習は、学習効率と一般化を向上させることを目的として、簡単な例から始めて徐々に難易度を上げながら、トレーニング例を構造化された順序でモデルに提示する機械学習戦略です。
HIN の豊富な情報をより有効に活用するために、これまでの方法では、HGNN をトレーニングするためのカリキュラム学習戦略の使用を検討し始めました。
具体的には、これらの研究では、各トレーニング エポックでの損失の絶対値を利用して、各トレーニング サンプルの学習難易度を評価します。
ただし、損失の絶対値ではなく、相対的な損失によって、学習の難しさが明らかになります。
したがって、新しい損失減少を意識したトレーニング スケジュール (LDTS) を提案します。
LDTS は、各トレーニング エポック間の損失減少の傾向を使用して、トレーニング サンプルの難易度をより適切に評価し、それによって下流タスクの HGNN のカリキュラム学習を強化します。
さらに、トレーニングの不均衡の問題を軽減するためのサンプリング戦略を提案します。
私たちの方法は、HGNN の能力を強化するためのカリキュラム学習の有効性をさらに実証します。
このメソッドを、損失減少を考慮したヘテロジニアス グラフ ニューラル ネットワーク (LDHGNN) と呼びます。
コードは https://github.com/wangyili00/LDHGNN で公開されています。

要約(オリジナル)

In recent years, heterogeneous graph neural networks (HGNNs) have achieved excellent performance in handling heterogeneous information networks (HINs). Curriculum learning is a machine learning strategy where training examples are presented to a model in a structured order, starting with easy examples and gradually increasing difficulty, aiming to improve learning efficiency and generalization. To better exploit the rich information in HINs, previous methods have started to explore the use of curriculum learning strategy to train HGNNs. Specifically, these works utilize the absolute value of the loss at each training epoch to evaluate the learning difficulty of each training sample. However, the relative loss, rather than the absolute value of loss, reveals the learning difficulty. Therefore, we propose a novel loss-decrease-aware training schedule (LDTS). LDTS uses the trend of loss decrease between each training epoch to better evaluating the difficulty of training samples, thereby enhancing the curriculum learning of HGNNs for downstream tasks. Additionally, we propose a sampling strategy to alleviate training imbalance issues. Our method further demonstrate the efficacy of curriculum learning in enhancing HGNNs capabilities. We call our method Loss-decrease-aware Heterogeneous Graph Neural Networks (LDHGNN). The code is public at https://github.com/wangyili00/LDHGNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google