Sample Complexity of Algorithm Selection Using Neural Networks and Its Applications to Branch-and-Cut

要約

データ駆動型アルゴリズム設計は、統計および機械学習の手法を使用して、計算問題のアルゴリズムのクラスから、問題のインスタンス上のいくつかの (未知の) 分布に関して期待される最高のパフォーマンスを持つアルゴリズムを選択するパラダイムです。
私たちは、最高のパフォーマンスを発揮する単一のアルゴリズムを選択するのではなく、ニューラル ネットワークを使用して、解決するインスタンスに基づいてアルゴリズムを選択できるようにするセットアップを検討することで、この分野の研究における最近の研究を基礎にしています。
特に、インスタンスの代表的なサンプルが与えられた場合、問題のインスタンスをそのインスタンスに最も適切なアルゴリズムにマッピングするニューラル ネットワークを学習します。
私たちは、データ駆動型アルゴリズム設計における最近の研究の精神に基づいて、このアイデアを形式化し、この学習問題に対するサンプルの厳密な複雑さの限界を導き出します。
次に、このアプローチを、混合整数最適化のための分岐とカットのフレームワークで適切な決定を下すという問題 (どのカットを追加するかなど) に適用します。
言い換えれば、ニューラル ネットワークは混合整数最適化インスタンスを入力として受け取り、そのインスタンスに対して小さな分岐と切断のツリーを生成する決定を出力します。
私たちの計算結果は、カット選択にニューラル ネットワークを使用する特定の方法が、以前のデータ駆動型のアプローチと比較して、枝とカットのツリーのサイズを縮小するのに大きな影響を与えることができるという証拠を示しています。

要約(オリジナル)

Data-driven algorithm design is a paradigm that uses statistical and machine learning techniques to select from a class of algorithms for a computational problem an algorithm that has the best expected performance with respect to some (unknown) distribution on the instances of the problem. We build upon recent work in this line of research by considering the setup where, instead of selecting a single algorithm that has the best performance, we allow the possibility of selecting an algorithm based on the instance to be solved, using neural networks. In particular, given a representative sample of instances, we learn a neural network that maps an instance of the problem to the most appropriate algorithm for that instance. We formalize this idea and derive rigorous sample complexity bounds for this learning problem, in the spirit of recent work in data-driven algorithm design. We then apply this approach to the problem of making good decisions in the branch-and-cut framework for mixed-integer optimization (e.g., which cut to add?). In other words, the neural network will take as input a mixed-integer optimization instance and output a decision that will result in a small branch-and-cut tree for that instance. Our computational results provide evidence that our particular way of using neural networks for cut selection can make a significant impact in reducing branch-and-cut tree sizes, compared to previous data-driven approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google