Holistic Memory Diversification for Incremental Learning in Growing Graphs

要約

この論文では、ますます複雑なタスクを伴うグラフの成長における増分学習の課題に取り組みます。
目標は、以前のタスクの推論能力を維持しながら、新しいタスクを処理できるようにグラフ モデルを継続的にトレーニングすることです。
既存の方法は通常、メモリの多様性の重要性を無視しており、以前のタスクから高品質のメモリを効果的に選択したり、グラフ上の不足したメモリ内で以前の広範な知識を記憶したりすることが制限されています。
これに対処するために、グラフでの増分学習のための新しい全体的な多様化メモリ選択および生成 (DMSG) フレームワークを導入します。これは、まず、サンプリングに効率的な貪欲アルゴリズムを採用し、クラス内とクラス間の両方の多様性を考慮するバッファ選択戦略を導入します。
新しいタスクを学習するたびに、代表的なトレーニング ノードがグラフからメモリ バッファーに保存されます。
次に、新しいタスクを学習するときにメモリバッファに保存された知識を適切に記憶するために、多様な記憶生成再生手法を提案します。
この方法では、まず変分層を利用してバッファ ノード エンベディングの分布を生成し、再生用に合成されたものをサンプルします。
さらに,合成されたノード埋め込みの完全性を維持し一般化を強化するために,敵対的変分埋め込み学習法と再構築ベースのデコーダを提案した。
最後に、クラス数の増加を伴うノード分類タスクでモデルを評価します。
公的にアクセス可能なデータセットに関する広範な実験結果は、最先端の手法に対する DMSG の優位性を実証しています。

要約(オリジナル)

This paper addresses the challenge of incremental learning in growing graphs with increasingly complex tasks. The goal is to continually train a graph model to handle new tasks while retaining its inference ability on previous tasks. Existing methods usually neglect the importance of memory diversity, limiting in effectively selecting high-quality memory from previous tasks and remembering broad previous knowledge within the scarce memory on graphs. To address that, we introduce a novel holistic Diversified Memory Selection and Generation (DMSG) framework for incremental learning in graphs, which first introduces a buffer selection strategy that considers both intra-class and inter-class diversities, employing an efficient greedy algorithm for sampling representative training nodes from graphs into memory buffers after learning each new task. Then, to adequately rememorize the knowledge preserved in the memory buffer when learning new tasks, we propose a diversified memory generation replay method. This method first utilizes a variational layer to generate the distribution of buffer node embeddings and sample synthesized ones for replaying. Furthermore, an adversarial variational embedding learning method and a reconstruction-based decoder are proposed to maintain the integrity and consolidate the generalization of the synthesized node embeddings, respectively. Finally, we evaluate our model on node classification tasks involving increasing class numbers. Extensive experimental results on publicly accessible datasets demonstrate the superiority of DMSG over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google