GOAL: A Generalist Combinatorial Optimization Agent Learning

要約

機械学習ベースのヒューリスティックは、最近、さまざまな組み合わせ最適化問題 (COP) の解決において目覚ましいパフォーマンスを示しています。
ただし、それらは通常、単一の問題ごとに特化されトレーニングされた別個のニューラル モデルに依存します。
問題にバリエーションがある場合は、モデルを調整し、最初から再トレーニングする必要があります。
この論文では、複数の COP を効率的に解決でき、新しい COP を解決するために微調整できるジェネラリスト モデルである GOAL (Generalist combinatorial Optimization Agent Learning) を提案します。
GOAL は、単一のバックボーンと、入出力処理用の軽量の問題固有のアダプターで構成されます。
バックボーンは、新しい形式の混合注意ブロックに基づいており、ノード、エッジ、インスタンス レベルの機能を任意に組み合わせてグラフ上に定義された問題を処理できます。
さらに、異種タイプのノードまたはエッジが関係する問題は、新しいマルチタイプのトランスフォーマ アーキテクチャを通じて処理されます。このアーキテクチャでは、同じ共有パラメータに依存しながら、タイプの意味のある組み合わせに対応するためにアテンション ブロックが複製されます。
ルーティング、スケジューリング、および古典的なグラフの問題のセットで GOAL をトレーニングし、それが広範囲の COP を解決する最初のマルチタスク モデルであるにもかかわらず、特殊なベースラインよりわずかに劣っているだけであることを示します。
最後に、いくつかの新しい問題で GOAL を微調整することで、GOAL の強力な転移学習能力を示します。
私たちのコードは https://github.com/naver/goal-co/ で入手できます。

要約(オリジナル)

Machine Learning-based heuristics have recently shown impressive performance in solving a variety of hard combinatorial optimization problems (COPs). However they generally rely on a separate neural model, specialized and trained for each single problem. Any variation of a problem requires adjustment of its model and re-training from scratch. In this paper, we propose GOAL (for Generalist combinatorial Optimization Agent Learning), a generalist model capable of efficiently solving multiple COPs and which can be fine-tuned to solve new COPs. GOAL consists of a single backbone plus light-weight problem-specific adapters for input and output processing. The backbone is based on a new form of mixed-attention blocks which allows to handle problems defined on graphs with arbitrary combinations of node, edge and instance-level features. Additionally, problems which involve heterogeneous types of nodes or edges are handled through a novel multi-type transformer architecture, where the attention blocks are duplicated to attend the meaningful combinations of types while relying on the same shared parameters. We train GOAL on a set of routing, scheduling and classic graph problems and show that it is only slightly inferior to the specialized baselines while being the first multi-task model that solves a wide range of COPs. Finally we showcase the strong transfer learning capacity of GOAL by fine-tuning it on several new problems. Our code is available at https://github.com/naver/goal-co/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google