Graph-level representations using ensemble-based readout functions

要約

グラフ機械学習モデルは、様々な応用分野で成功裏に展開されている。最も著名なモデルの一つであるグラフニューラルネットワーク（GNN）は、ノードレベルの表現ベクトルを抽出するエレガントな方法を提供し、ソーシャルネットワークにおけるユーザーの分類など、ノードに関連する問題の解決に利用することができる。しかし、分子生物学的な応用など、グラフ全体のレベルでの表現が必要なタスクも少なくありません。ノードレベルの表現をグラフレベルのベクトルに変換するためには、いわゆる読み出し関数を適用する必要がある。本研究では、単純な非学習型から複雑なパラメトリックモデルまで、既存の読み出し方法について研究する。また、表現と予測のいずれかを組み合わせたアンサンブルベースの読み出し関数の概念を導入する。我々の実験によれば、このようなアンサンブルは、単純な単一の読み出しよりも優れた性能、あるいは複雑なパラメトリックな読み出しと同様の性能を、モデルの複雑さの数分の一で実現することができる。

要約(オリジナル)

Graph machine learning models have been successfully deployed in a variety of application areas. One of the most prominent types of models – Graph Neural Networks (GNNs) – provides an elegant way of extracting expressive node-level representation vectors, which can be used to solve node-related problems, such as classifying users in a social network. However, many tasks require representations at the level of the whole graph, e.g., molecular applications. In order to convert node-level representations into a graph-level vector, a so-called readout function must be applied. In this work, we study existing readout methods, including simple non-trainable ones, as well as complex, parametrized models. We introduce a concept of ensemble-based readout functions that combine either representations or predictions. Our experiments show that such ensembles allow for better performance than simple single readouts or similar performance as the complex, parametrized ones, but at a fraction of the model complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL