Its All Graph To Me: Foundational Topology Models with Contrastive Learning on Multiple Domains

要約

グラフ データの表現と埋め込みは、多くの研究分野で不可欠です。
このような表現を学習する主な利点は、データやラベルが少ない小規模なデータセットで事前トレーニングされたモデルを微調整できることです。
ただし、既存のモデルはドメイン固有です。
たとえば、分子グラフでトレーニングされたモデルは、他の分子グラフで微調整されます。
これは、多くのアプリケーションの場合、事前トレーニングされたモデルの選択は任意であり、新しいドメインには適切な事前トレーニングされたモデルが不足している可能性があることを意味します。
これは、データが不足しており、従来の教師あり手法が使用できない場合に特に問題となります。
この研究では、敵対的対照学習を使用して、多くのグラフ ドメインで事前トレーニングされたモデルである \method を提示します。
トポロジのみでモデルをトレーニングしますが、評価にはノード ラベルが含まれます。
さまざまな下流タスクにおける学習された表現の有効性を評価します。
単一ドメインで事前トレーニングされたベースライン モデル、未トレーニング モデルおよび非転送モデルに対して、単一モデルを使用してパフォーマンスが同等以上であることを示します。
これには、単一ドメインまたは事前トレーニングされていないモデルよりもパフォーマンスが一貫して優れている、ノード ラベルが評価に使用される場合が含まれます。

要約(オリジナル)

Representations and embeddings of graph data have been essential in many domains of research. The principle benefit of learning such representations is that the pre-trained model can be fine-tuned on smaller datasets where data or labels are scarse. Existing models, however, are domain specific; for example a model trained on molecular graphs is fine-tuned on other molecular graphs. This means that in many application cases the choice of pre-trained model can be arbitrary, and novel domains may lack an appropriate pre-trained model. This is of particular issue where data is scarse, precluding traditional supervised methods. In this work we use adversarial contrastive learning to present a \method, a model pre-trained on many graph domains. We train the model only on topologies but include node labels in evaluation. We evaluate the efficacy of its learnt representations on various downstream tasks. Against baseline models pre-trained on single domains, as well as un-trained models and non-transferred models, we show that performance is equal or better using our single model. This includes when node labels are used in evaluation, where performance is consistently superior to single-domain or non-pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google