Rethinking the Capacity of Graph Neural Networks for Branching Strategy

要約

グラフ ニューラル ネットワーク (GNN) は、混合整数線形プログラム (MILP) のプロパティとヒューリスティックを予測し、MILP ソルバーを高速化するために広く使用されています。
この論文では、分枝限定アルゴリズムで使用される最も効果的だが計算コストのかかるヒューリスティックである強分岐 (SB) を表現する GNN の能力を調査します。
文献では、最も単純な GNN 構造としてのメッセージ パッシング GNN (MP-GNN) が SB の高速近似として頻繁に使用されており、すべての MILP の SB が MP-GNN で表現できるわけではないことがわかりました。
MP-GNN が SB スコアを正確に近似できる「MP 扱い可能な」MILP のクラスを正確に定義します。
特に、普遍的な近似定理を確立します。MP 扱い可能なクラスにわたるあらゆるデータ分布に対して、任意の高精度および任意の高確率で SB スコアを近似できる MP-GNN が常に存在し、既存のアルゴリズムの理論的基礎を築きます。
MP-GNN を使用して SB を模倣することに取り組んでいます。
MP トラクタビリティのない MILP では、残念ながら同様の結果は不可能です。これは、パラメータの数に関係なく、どの MP-GNN でも区別できない、異なる SB スコアを持つ 2 つの MILP インスタンスによって示されます。
これを認識して、この制限を克服する二次フォークロア GNN (2-FGNN) と呼ばれる別の GNN 構造を探索します。MP の扱いやすさに関係なく、2-FGNN を使用して前述の普遍近似定理を MILP 空間全体に拡張できます。
。
理論的発見を直接検証するために、小規模な数値実験が行われます。

要約(オリジナル)

Graph neural networks (GNNs) have been widely used to predict properties and heuristics of mixed-integer linear programs (MILPs) and hence accelerate MILP solvers. This paper investigates the capacity of GNNs to represent strong branching (SB), the most effective yet computationally expensive heuristic employed in the branch-and-bound algorithm. In the literature, message-passing GNN (MP-GNN), as the simplest GNN structure, is frequently used as a fast approximation of SB and we find that not all MILPs’s SB can be represented with MP-GNN. We precisely define a class of ‘MP-tractable’ MILPs for which MP-GNNs can accurately approximate SB scores. Particularly, we establish a universal approximation theorem: for any data distribution over the MP-tractable class, there always exists an MP-GNN that can approximate the SB score with arbitrarily high accuracy and arbitrarily high probability, which lays a theoretical foundation of the existing works on imitating SB with MP-GNN. For MILPs without the MP-tractability, unfortunately, a similar result is impossible, which can be illustrated by two MILP instances with different SB scores that cannot be distinguished by any MP-GNN, regardless of the number of parameters. Recognizing this, we explore another GNN structure called the second-order folklore GNN (2-FGNN) that overcomes this limitation, and the aforementioned universal approximation theorem can be extended to the entire MILP space using 2-FGNN, regardless of the MP-tractability. A small-scale numerical experiment is conducted to directly validate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google