An Exploration of Conditioning Methods in Graph Neural Networks

要約

タイトル：グラフニューラルネットワークにおける条件付け方法の探索
要約：

– グラフ構造化データの深層学習において、メッセージパッシングに基づくグラフニューラルネットワーク（GNN）の柔軟性と効果は、重要な進歩をもたらした。
– このアプローチでは、GNNは再帰的にノード表現を更新し、ノードとエッジ属性ベクトルの使用によって表現力を得る。物理や化学などの計算タスクでは、相対位置や距離などのエッジ属性の使用が不可欠である。
– 本研究では、どのような属性を使用するかではなく、これらの情報に条件付けてモデルの性能を向上させる方法について検討する。
– 弱い、強い、純粋な条件付けの3種類を考慮し、それぞれ連結ベースの条件付け、ゲーティング、属性に因果依存する変換に関連する。
– この分類は、分離可能な畳み込みからさまざまな形式のメッセージパッシングネットワークに至るまで、異なるクラスのGNNについて、統一的な視点を提供する。
– 本研究では、計算化学のいくつかのタスクにおける条件付け方法の効果について、実証的な研究を提供する。

要約(オリジナル)

The flexibility and effectiveness of message passing based graph neural networks (GNNs) induced considerable advances in deep learning on graph-structured data. In such approaches, GNNs recursively update node representations based on their neighbors and they gain expressivity through the use of node and edge attribute vectors. E.g., in computational tasks such as physics and chemistry usage of edge attributes such as relative position or distance proved to be essential. In this work, we address not what kind of attributes to use, but how to condition on this information to improve model performance. We consider three types of conditioning; weak, strong, and pure, which respectively relate to concatenation-based conditioning, gating, and transformations that are causally dependent on the attributes. This categorization provides a unifying viewpoint on different classes of GNNs, from separable convolutions to various forms of message passing networks. We provide an empirical study on the effect of conditioning methods in several tasks in computational chemistry.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI