A Graph Neural Network-Based QUBO-Formulated Hamiltonian-Inspired Loss Function for Combinatorial Optimization using Reinforcement Learning

要約

二次無制約バイナリ最適化 (QUBO) は、さまざまな NP 困難な組み合わせ最適化問題をバイナリ変数の形式でモデル化するための汎用手法です。
ハミルトニアン関数は、最適化のコンテキストで目的関数として使用される QUBO 問題を定式化するためによく使用されます。
最近、汎用のスケーラブルなフレームワークである PI-GNN が、単純なグラフ ニューラル ネットワーク (GNN) アーキテクチャに基づいてグラフ上の組み合わせ最適化 (CO) 問題に対処するために提案されました。
彼らの新たな貢献は、GNN を使用して最適化された、QUBO で定式化されたハミルトニアンにヒントを得た一般的な損失関数でした。
この研究では、特に高密度のグラフで観察される前述の設定に関連する重要な問題に取り組みます。
強化学習ベースのパラダイムは、数多くの CO 問題に対処するために広く使用されています。
ここでは、強化学習パラダイムの一般的な報酬関数として QUBO で定式化されたハミルトニアンの互換性も定式化および経験的に評価し、トレーニング中の実際のノード投影ステータスを報酬の形式として直接統合します。
私たちの実験では、PI-GNN アルゴリズムと比較して、RL ベースのセットアップで最大 44% の改善が観察されました。
私たちの実装は https://github.com/rizveeredwan/learning-graph-structor にあります。

要約(オリジナル)

Quadratic Unconstrained Binary Optimization (QUBO) is a generic technique to model various NP-hard combinatorial optimization problems in the form of binary variables. The Hamiltonian function is often used to formulate QUBO problems where it is used as the objective function in the context of optimization. Recently, PI-GNN, a generic scalable framework, has been proposed to address the Combinatorial Optimization (CO) problems over graphs based on a simple Graph Neural Network (GNN) architecture. Their novel contribution was a generic QUBO-formulated Hamiltonian-inspired loss function that was optimized using GNN. In this study, we address a crucial issue related to the aforementioned setup especially observed in denser graphs. The reinforcement learning-based paradigm has also been widely used to address numerous CO problems. Here we also formulate and empirically evaluate the compatibility of the QUBO-formulated Hamiltonian as the generic reward function in the Reinforcement Learning paradigm to directly integrate the actual node projection status during training as the form of rewards. In our experiments, we observed up to 44% improvement in the RL-based setup compared to the PI-GNN algorithm. Our implementation can be found in https://github.com/rizveeredwan/learning-graph-structure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google