Port-Hamiltonian Architectural Bias for Long-Range Propagation in Deep Graph Networks

要約

グラフ内の情報拡散のダイナミクスは、特に長距離伝播を検討する場合、グラフ表現学習に大きな影響を与える重要なオープンな問題です。
これには、神経の流れ全体の情報の伝播と散逸の程度を制御および調節する原則的なアプローチが必要です。
これにより動機付けられて、ハミルトニアン動的システムの保存法則を築くことにより、グラフの神経情報の流れをモデル化する新しいフレームワークであるハミルトニアンディープグラフネットワーク（ポート）を紹介します。
単一の理論的および実用的なフレームワークの下で、非ディシパニックな長距離伝播と非保守的な動作の両方で調整し、機械システムからツールを導入して、2つの成分間の平衡を測定します。
私たちのアプローチは、一般的なメッセージ通過アーキテクチャに適用でき、時間内に情報保存に関する理論的保証を提供します。
経験的な結果は、長距離ベンチマークでの最先端のパフォーマンスに単純なグラフの畳み込みアーキテクチャをプッシュする際のポートハミルトニアンスキームの有効性を証明します。

要約(オリジナル)

The dynamics of information diffusion within graphs is a critical open issue that heavily influences graph representation learning, especially when considering long-range propagation. This calls for principled approaches that control and regulate the degree of propagation and dissipation of information throughout the neural flow. Motivated by this, we introduce (port-)Hamiltonian Deep Graph Networks, a novel framework that models neural information flow in graphs by building on the laws of conservation of Hamiltonian dynamical systems. We reconcile under a single theoretical and practical framework both non-dissipative long-range propagation and non-conservative behaviors, introducing tools from mechanical systems to gauge the equilibrium between the two components. Our approach can be applied to general message-passing architectures, and it provides theoretical guarantees on information conservation in time. Empirical results prove the effectiveness of our port-Hamiltonian scheme in pushing simple graph convolutional architectures to state-of-the-art performance in long-range benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google