Self-Attention in Colors: Another Take on Encoding Graph Structure in Transformers

要約

タイトル：トランスフォーマーでグラフ構造をエンコードするもう1つの手法：カラーにおける自己注意力​​
要約：
-新しいセルフアテンションメカニズムであるCSA（Chromatic Self-Attention）を紹介する。
– CSAは、フィーチャーチャネルを独立して調節する注目_フィルター_の概念を拡張し、注目得点を拡張する。
– CSAを完全な注目グラフトランスフォーマーCGT（Chromatic Graph Transformer）で紹介し、グラフ構造情報とエッジ特徴を統合する。
– 私たちの方法は、相対的な位置エンコーディングスキームを使用して、ノード間相互作用を介して柔軟にグラフ構造をエンコードし、オリジナルのエッジ特徴を豊富にします。
– 構造的および位置情報をエンコードするためのランダムウォークに基づく新しいスキームを提案し、分子グラフのリングなどの高次位的トポロジ情報を組み込む方法を示す。
– 私たちのアプローチは、ZINC基準データセットで最新の結果を達成し、グラフ構造をエンコードし、高次位位トポロジを組み込む柔軟なフレームワークを提供します。

要約(オリジナル)

We introduce a novel self-attention mechanism, which we call CSA (Chromatic Self-Attention), which extends the notion of attention scores to attention _filters_, independently modulating the feature channels. We showcase CSA in a fully-attentional graph Transformer CGT (Chromatic Graph Transformer) which integrates both graph structural information and edge features, completely bypassing the need for local message-passing components. Our method flexibly encodes graph structure through node-node interactions, by enriching the original edge features with a relative positional encoding scheme. We propose a new scheme based on random walks that encodes both structural and positional information, and show how to incorporate higher-order topological information, such as rings in molecular graphs. Our approach achieves state-of-the-art results on the ZINC benchmark dataset, while providing a flexible framework for encoding graph structure and incorporating higher-order topology.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI