Early-Exit Graph Neural Networks

要約

早期拡張メカニズムにより、深いニューラルネットワークは、分類の信頼が十分に高くなるとすぐに推論を停止し、自信のために適応的に取引され、それにより、より硬いものの完全な精度を保持しながら、簡単な入力の遅延とエネルギーを削減できます。
同様に、グラフ構造データのモデルであるグラフニューラルネットワーク（GNNS）に早期出口メカニズムを追加すると、より硬い複雑なグラフで完全な精度を維持して複雑な関係をキャプチャする一方で、単純なグラフで信頼性のために動的な取引深さを可能にします。
早期の出口はさまざまな深い学習ドメインで効果的であることが証明されていますが、滑らかで過剰なアーキテクチャやスケッシングに抵抗しながら深いアーキテクチャを必要とするシナリオ内のGNN内の可能性はほとんど未踏のままです。
対称抗対称グラフニューラルネットワーク（SAS-GNN）を最初に導入することにより、その可能性を解き放ちます。その対称性ベースの誘導バイアスは、これらの問題を緩和し、GNNの早期出口を可能にする安定した中間表現を生成します。
このバックボーンに基づいて、初期排除グラフニューラルネットワーク（EEGNNS）を提示します。これにより、各ノードまたはグラフ全体に基づいて伝播の流行の終了を可能にする信頼性の高い出口ヘッドが追加されます。
実験では、EEGNNSが深さが増加するにつれて堅牢なパフォーマンスを維持し、異種および長距離ベンチマークの競争精度を実現し、注意ベースと非同期のメッセージパスモデルに一致しながら、計算とレイテンシを大幅に減らします。
実験を再現するためにコードをリリースする予定です。

要約(オリジナル)

Early-exit mechanisms allow deep neural networks to halt inference as soon as classification confidence is high enough, adaptively trading depth for confidence, and thereby cutting latency and energy on easy inputs while retaining full-depth accuracy for harder ones. Similarly, adding early exit mechanisms to Graph Neural Networks (GNNs), the go-to models for graph-structured data, allows for dynamic trading depth for confidence on simple graphs while maintaining full-depth accuracy on harder and more complex graphs to capture intricate relationships. Although early exits have proven effective across various deep learning domains, their potential within GNNs in scenarios that require deep architectures while resisting over-smoothing and over-squashing remains largely unexplored. We unlock that potential by first introducing Symmetric-Anti-Symmetric Graph Neural Networks (SAS-GNN), whose symmetry-based inductive biases mitigate these issues and yield stable intermediate representations that can be useful to allow early exiting in GNNs. Building on this backbone, we present Early-Exit Graph Neural Networks (EEGNNs), which append confidence-aware exit heads that allow on-the-fly termination of propagation based on each node or the entire graph. Experiments show that EEGNNs preserve robust performance as depth grows and deliver competitive accuracy on heterophilic and long-range benchmarks, matching attention-based and asynchronous message-passing models while substantially reducing computation and latency. We plan to release the code to reproduce our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google