Graph Neural Networks Are Evolutionary Algorithms

要約

この論文では、伝統的に異なる 2 つの分野の橋渡しとなる、グラフ ニューラル ネットワーク (GNN) と進化的アルゴリズム (EA) の間の本質的な二重性を明らかにします。
この洞察に基づいて、私たちはグラフ ニューラル エボリューション (GNE) を提案します。これは、個人をグラフ内のノードとしてモデル化し、設計された周波数領域フィルターを活用して、グローバルな探索とローカルな開発のバランスをとる新しい進化的アルゴリズムです。
これらのフィルターの使用を通じて、GNE は高周波数 (ダイバーシティ強化) と低周波数 (安定性促進) の情報を集約し、EA を周波数領域で解釈可能で調整可能なメカニズムに変換します。
ベンチマーク関数に関する広範な実験により、GNE が GA、DE、CMA-ES、SDAES、RL-SHADE などの最先端のアルゴリズムを常に上回り、複雑なランドスケープ、最適なソリューションのシフト、およびノイズの多い環境で優れていることが実証されました。
その堅牢性、適応性、優れた収束性により、その実用的および理論的価値が強調されます。
GNE は最適化を超えて、EA と GNN を結び付ける概念的かつ数学的な基盤を確立し、両方の分野に新しい視点を提供します。
そのフレームワークは、EA 向けのタスク適応フィルターとハイブリッド アプローチの開発を奨励する一方、その洞察は、グローバルな情報伝播の改善や過度の平滑化の軽減など、GNN の進歩を促す可能性があります。
GNE の多用途性は、エンジニアリングやオペレーション リサーチにおける現実世界のアプリケーションだけでなく、ハイパーパラメータ調整やニューラル アーキテクチャ検索などの機械学習の課題の解決にも広がります。
EA のダイナミクスと GNN の構造的洞察を統合することにより、この研究は学際的なイノベーションの基盤を提供し、複雑な最適化問題に対するスケーラブルで解釈可能なソリューションへの道を開きます。

要約(オリジナル)

In this paper, we reveal the intrinsic duality between graph neural networks (GNNs) and evolutionary algorithms (EAs), bridging two traditionally distinct fields. Building on this insight, we propose Graph Neural Evolution (GNE), a novel evolutionary algorithm that models individuals as nodes in a graph and leverages designed frequency-domain filters to balance global exploration and local exploitation. Through the use of these filters, GNE aggregates high-frequency (diversity-enhancing) and low-frequency (stability-promoting) information, transforming EAs into interpretable and tunable mechanisms in the frequency domain. Extensive experiments on benchmark functions demonstrate that GNE consistently outperforms state-of-the-art algorithms such as GA, DE, CMA-ES, SDAES, and RL-SHADE, excelling in complex landscapes, optimal solution shifts, and noisy environments. Its robustness, adaptability, and superior convergence highlight its practical and theoretical value. Beyond optimization, GNE establishes a conceptual and mathematical foundation linking EAs and GNNs, offering new perspectives for both fields. Its framework encourages the development of task-adaptive filters and hybrid approaches for EAs, while its insights can inspire advances in GNNs, such as improved global information propagation and mitigation of oversmoothing. GNE’s versatility extends to solving challenges in machine learning, including hyperparameter tuning and neural architecture search, as well as real-world applications in engineering and operations research. By uniting the dynamics of EAs with the structural insights of GNNs, this work provides a foundation for interdisciplinary innovation, paving the way for scalable and interpretable solutions to complex optimization problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google