Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update

要約

組み合わせ最適化 (CO) 問題は、さまざまな科学および産業用途において重要です。
最近、研究者らは、教師なしグラフ ニューラル ネットワーク (GNN) を使用して NP 困難な組み合わせ最適化問題に対処することを提案しました。これは、二次無制約二値最適化 (QUBO) 問題として再定式化できます。
GNN は、ほぼ線形のスケーラビリティを備えた高いパフォーマンスを実証しており、大規模な問題の計算効率の点で従来のヒューリスティックベースのアルゴリズムを大幅に上回っています。
ただし、標準ノード機能を利用すると、GNN はエネルギー状況の次善の極小値に囚われる傾向があり、結果としてソリューションの品質が低くなります。
我々は、GNN の力を活用して QUBO 定式化で CO 問題を効率的に解決する、新しいアルゴリズム (以下 QRF-GNN と表記します) を導入します。
これは、QUBO 緩和から得られる損失関数を最小化することによる教師なし学習に依存しています。
提案されているアーキテクチャの主要コンポーネントには、中間 GNN 予測の繰り返し使用、並列畳み込み層、および入力としての静的ノード特徴の組み合わせが含まれます。
まとめると、静的なグラフの特徴だけでなく、動的として扱われる中間予測、つまり繰り返し変化する反復的な特徴も考慮に入れて、中間解候補を適応させて QUBO ベースの損失関数を最小化するのに役立ちます。
提案されたアルゴリズムのパフォーマンスは、最大カット、グラフの色付け、および最大独立集合問題の標準ベンチマーク データセットで評価されています。
実験の結果、QRF-GNN は既存の学習ベースのアプローチを大幅に上回り、最先端の従来のヒューリスティックに匹敵し、大規模なインスタンスでのスケーラビリティが向上することが示されています。

要約(オリジナル)

Combinatorial optimization (CO) problems are crucial in various scientific and industrial applications. Recently, researchers have proposed using unsupervised Graph Neural Networks (GNNs) to address NP-hard combinatorial optimization problems, which can be reformulated as Quadratic Unconstrained Binary Optimization (QUBO) problems. GNNs have demonstrated high performance with nearly linear scalability and significantly outperformed classic heuristic-based algorithms in terms of computational efficiency on large-scale problems. However, when utilizing standard node features, GNNs tend to get trapped to suboptimal local minima of the energy landscape, resulting in low quality solutions. We introduce a novel algorithm, denoted hereafter as QRF-GNN, leveraging the power of GNNs to efficiently solve CO problems with QUBO formulation. It relies on unsupervised learning by minimizing the loss function derived from QUBO relaxation. The proposed key components of the architecture include the recurrent use of intermediate GNN predictions, parallel convolutional layers and combination of static node features as input. Altogether, it helps to adapt the intermediate solution candidate to minimize QUBO-based loss function, taking into account not only static graph features, but also intermediate predictions treated as dynamic, i.e. iteratively changing recurrent features. The performance of the proposed algorithm has been evaluated on the canonical benchmark datasets for maximum cut, graph coloring and maximum independent set problems. Results of experiments show that QRF-GNN drastically surpasses existing learning-based approaches and is comparable to the state-of-the-art conventional heuristics, improving their scalability on large instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google