OpenGraph: Towards Open Graph Foundation Models

要約

グラフ学習は、レコメンデーション システムからソーシャル ネットワーク分析に至るまで、さまざまな分野でリレーショナル データを解釈して活用するために不可欠になっています。
これに関連して、グラフの構造情報をエンコードするための有望な方法論として、さまざまな GNN が登場しました。
これらの GNN は、グラフの基礎となる構造を効果的にキャプチャすることにより、リンク予測やノード分類などのグラフ学習タスクのパフォーマンスを向上させる大きな可能性を示しています。
ただし、成功にもかかわらず、重大な課題が残っています。これらの高度な手法は、トレーニング インスタンスとは大きく異なる目に見えないグラフ データを一般化する際に困難に直面することがよくあります。
この研究では、一般的なグラフ基礎モデルを開発することによって、グラフ学習パラダイムを前進させることを目的としています。
このモデルは、多様なグラフ データに存在する複雑なトポロジー パターンを理解するように設計されており、さまざまな下流データセットにわたるゼロショット グラフ学習タスクで優れた性能を発揮できるようになります。
この目標を達成するために、私たちは OpenGraph モデルにおけるいくつかの重要な技術的課題に取り組みます。
まず、基礎となるグラフのプロパティがトレーニング中に発生したものと大幅に異なる場合でも、グラフ モデルを適応させて、目に見えないグラフ データを適切に一般化するための統合グラフ トークナイザーを提案します。
次に、グローバル トポロジー コンテキスト内のノードごとの依存関係を効果的にキャプチャする、基本的なエンコーダーとしてスケーラブルなグラフ トランスフォーマーを開発します。
3 番目に、現実世界のシナリオにおけるデータ不足の制限を軽減するために、LLM によって強化されたデータ拡張メカニズムを導入します。
広範な実験により、フレームワークの有効性が検証されています。
OpenGraph を新しいグラフ特性に適応させ、多様なグラフのニュアンスを理解することにより、私たちのアプローチは、さまざまな設定やドメインにわたって驚くべきゼロショット グラフ学習パフォーマンスを実現します。

要約(オリジナル)

Graph learning has become indispensable for interpreting and harnessing relational data in diverse fields, ranging from recommendation systems to social network analysis. In this context, a variety of GNNs have emerged as promising methodologies for encoding the structural information of graphs. By effectively capturing the graph’s underlying structure, these GNNs have shown great potential in enhancing performance in graph learning tasks, such as link prediction and node classification. However, despite their successes, a significant challenge persists: these advanced methods often face difficulties in generalizing to unseen graph data that significantly differs from the training instances. In this work, our aim is to advance the graph learning paradigm by developing a general graph foundation model. This model is designed to understand the complex topological patterns present in diverse graph data, enabling it to excel in zero-shot graph learning tasks across different downstream datasets. To achieve this goal, we address several key technical challenges in our OpenGraph model. Firstly, we propose a unified graph tokenizer to adapt our graph model to generalize well on unseen graph data, even when the underlying graph properties differ significantly from those encountered during training. Secondly, we develop a scalable graph transformer as the foundational encoder, which effectively captures node-wise dependencies within the global topological context. Thirdly, we introduce a data augmentation mechanism enhanced by a LLM to alleviate the limitations of data scarcity in real-world scenarios. Extensive experiments validate the effectiveness of our framework. By adapting our OpenGraph to new graph characteristics and comprehending the nuances of diverse graphs, our approach achieves remarkable zero-shot graph learning performance across various settings and domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google