Towards Efficient Training of Graph Neural Networks: A Multiscale Approach

要約

グラフニューラルネットワーク（GNNS）は、グラフ構造のデータから学習および推測するための強力なツールとして浮上しており、多くの場合、大量のデータと大きなグラフを考慮して、さまざまなアプリケーションで広く使用されています。
ただし、このようなデータのトレーニングには、大きなメモリと広範な計算が必要です。
この論文では、グラフのマルチスケール表現全体に情報を統合するように設計されたGNNSの効率的なマルチスケールトレーニングのための新しいフレームワークを紹介します。
私たちのアプローチは、階層的なグラフ表現を活用し、各粗いスケールグラフのノードとエッジが少ないトレーニングプロセスで粗いグラフスケールを活用します。
このアプローチに基づいて、粗から財政、サブからフル、マルチスケールグラデーションの計算など、一連のGNNトレーニング方法を提案します。
さまざまなデータセットや学習タスクに対するメソッドの有効性を実証します。

要約(オリジナル)

Graph Neural Networks (GNNs) have emerged as a powerful tool for learning and inferring from graph-structured data, and are widely used in a variety of applications, often considering large amounts of data and large graphs. However, training on such data requires large memory and extensive computations. In this paper, we introduce a novel framework for efficient multiscale training of GNNs, designed to integrate information across multiscale representations of a graph. Our approach leverages a hierarchical graph representation, taking advantage of coarse graph scales in the training process, where each coarse scale graph has fewer nodes and edges. Based on this approach, we propose a suite of GNN training methods: such as coarse-to-fine, sub-to-full, and multiscale gradient computation. We demonstrate the effectiveness of our methods on various datasets and learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google