Improving global awareness of linkset predictions using Cross-Attentive Modulation tokens

要約

複数のリンク予測またはグラフ生成手法のほとんどは、アテンション メカニズムまたはグラフ ニューラル ネットワーク (GNN) に依存しています。GNN は、適切なリンク予測を形成するためにノードレベルの情報交換を活用することにあります。
このようなノードレベルの相互作用は、ノードを順序付けされたシーケンスとして処理しません。これは、ノードのある種の自然な順序付けを意味します。これらは、順列不変メカニズムと言われます。
これらはグラフの問題には適していますが、予測されたリンクのグローバルなオーケストレーションを提供するのに苦労し、パフォーマンスの低下につながる可能性があります。
いくつかの典型的な問題としては、グローバルな接続性や固定直径などの高レベルのプロパティを確保すること、または過剰な平滑化や過剰な潰れなどの情報のボトルネック効果を回避することが難しいことが挙げられます。これらの影響はそれぞれ密集領域での過剰な平滑化であり、情報の損失と傾向につながります。
孤立したノードをメッセージ パッシング スキームから除外するため、多くの場合、無関係で不均衡なリンク予測が発生します。
この問題に取り組むために、ここでクロスアテンティブ変調 (CAM) トークンを紹介します。これは、予測リンクのグローバルな一貫性を向上させるコンテキスト認識型の計算を可能にするために、ノードおよびエッジレベルの変調を調整するために使用されるクロスアテンティブ ユニットを導入します。
これをいくつかの順列不変アーキテクチャに実装し、私たちの研究のメリットを証明するベンチマークを紹介します。

要約(オリジナル)

Most of multiple link prediction or graph generation techniques rely on the attention mechanism or on Graph Neural Networks (GNNs), which consist in leveraging node-level information exchanges in order to form proper link predictions. Such node-level interactions do not process nodes as an ordered sequence, which would imply some kind of natural ordering of the nodes: they are said to be permutation invariant mechanisms. They are well suited for graph problems, but struggle at providing a global orchestration of the predicted links, which can result in a loss of performance. Some typical issues can be the difficulty to ensure high-level properties such as global connectedness, fixed diameter or to avoid information bottleneck effects such as oversmoothing and oversquashing, which respectively consist in abundant smoothing in dense areas leading to a loss of information and a tendency to exclude isolated nodes from the message passing scheme, and often result in irrelevant, unbalanced link predictions. To tackle this problem, we hereby present Cross-Attentive Modulation (CAM) tokens, which introduce cross-attentive units used to condition node and edge-level modulations in order to enable context-aware computations that improve the global consistency of the prediction links. We will implement it on a few permutation invariant architectures, and showcase benchmarks that prove the merits of our work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google