The Role of Fibration Symmetries in Geometric Deep Learning

要約

幾何学的深層学習 (GDL) は、対称性の観点から幅広い種類の機械学習手法を統合し、グラフ ニューラル ネットワーク (GNN) のような問題固有の帰納的バイアスを導入するためのフレームワークを提供します。
ただし、現在の GDL の定式化は、現実世界の問題ではあまり見られない大域的対称性に限定されています。
私たちは、現実的なインスタンスの規則性を活用するために、局所対称性、特にグラフ内の繊維対称性を許容するために GDL を緩和することを提案します。
我々は、GNN がフィブレーション対称性の誘導バイアスを適用し、表現力のより厳しい上限を導き出すことを示します。
さらに、ネットワーク内の対称性を特定することでネットワーク ノードを崩壊させ、ディープ ニューラル ネットワークの推論とトレーニングの両方での計算効率を向上させます。
ここで紹介した数学的拡張は、グラフを超えて多様体、バンドル、グリッドに適用され、局所的な対称性によって誘発される誘導バイアスを備えたモデルを開発することができ、より良い一般化につながる可能性があります。

要約(オリジナル)

Geometric Deep Learning (GDL) unifies a broad class of machine learning techniques from the perspectives of symmetries, offering a framework for introducing problem-specific inductive biases like Graph Neural Networks (GNNs). However, the current formulation of GDL is limited to global symmetries that are not often found in real-world problems. We propose to relax GDL to allow for local symmetries, specifically fibration symmetries in graphs, to leverage regularities of realistic instances. We show that GNNs apply the inductive bias of fibration symmetries and derive a tighter upper bound for their expressive power. Additionally, by identifying symmetries in networks, we collapse network nodes, thereby increasing their computational efficiency during both inference and training of deep neural networks. The mathematical extension introduced here applies beyond graphs to manifolds, bundles, and grids for the development of models with inductive biases induced by local symmetries that can lead to better generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google