Complexity-Guided Curriculum Learning for Text Graphs

要約

カリキュラム学習は、トレーニングへの体系的なアプローチを提供します。
トレーニングを段階的に改良し、タスクの要件に合わせてトレーニングを調整し、多様な例に触れることで一般化を向上させます。
テキスト グラフ データを使用したトレーニングのためのテキストとグラフの複雑さの形式に関する既存の知識に基づいたカリキュラム学習アプローチを紹介します。
私たちのアプローチの中核となるのは、「間隔をあけた繰り返し」と複雑さの形式を採用してトレーニング プロセスをガイドする新しいデータ スケジューラーです。
いくつかのテキスト グラフ タスクとグラフ ニューラル ネットワーク アーキテクチャに対する提案されたアプローチの有効性を実証します。
提案されたモデルはより多くのデータを取得し、使用するデータは少なくなります。
トレーニング全体を通じて一貫してグラフの複雑さのインデックスよりもテキストを優先しますが、テキストとグラフの複雑さのインデックスから導出された最適なカリキュラムは同様に効果的です。
そして、GNN モデルとデータセット全体で転送可能なカリキュラムを学習します。
さらに、ノードレベル (ローカル) とグラフレベル (グローバル) の両方のグラフ複雑さのインデックス、および浅い従来のテキスト複雑さのインデックスが、効果的なカリキュラム学習において重要な役割を果たしていることがわかりました。

要約(オリジナル)

Curriculum learning provides a systematic approach to training. It refines training progressively, tailors training to task requirements, and improves generalization through exposure to diverse examples. We present a curriculum learning approach that builds on existing knowledge about text and graph complexity formalisms for training with text graph data. The core part of our approach is a novel data scheduler, which employs ‘spaced repetition’ and complexity formalisms to guide the training process. We demonstrate the effectiveness of the proposed approach on several text graph tasks and graph neural network architectures. The proposed model gains more and uses less data; consistently prefers text over graph complexity indices throughout training, while the best curricula derived from text and graph complexity indices are equally effective; and it learns transferable curricula across GNN models and datasets. In addition, we find that both node-level (local) and graph-level (global) graph complexity indices, as well as shallow and traditional text complexity indices play a crucial role in effective curriculum learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google