RL4CO: an Extensive Reinforcement Learning for Combinatorial Optimization Benchmark

要約

組み合わせ最適化 (CO) ベンチマークのための広範な強化学習 (RL) である RL4CO を紹介します。
RL4CO は、モジュール性や構成管理などの実装におけるベスト プラクティスに加えて、最先端のソフトウェア ライブラリを採用しており、効率的であり、ニューラル ネットワーク アーキテクチャ、環境、アルゴリズムを適応させるために研究者が簡単に変更できるようにしています。
パフォーマンス評価のための巡回セールスマン問題 (TSP) などの特定のタスクにこれまで焦点を当ててきたのとは対照的に、多様な最適化タスクに対するスケーラビリティと一般化機能の重要性を強調します。
また、サンプル効率、ゼロショット汎化、さまざまなモデルのデータ分布の変化への適応性を体系的にベンチマークします。
私たちの実験では、最近の最先端の手法のいくつかは、これらの新しい指標を使用して評価すると、以前の手法に後れをとっていることが示されており、ニューラル CO ソルバーのパフォーマンスについてよりバランスの取れた見方が必要であることが示唆されています。
RL4CO が、現実世界の複雑なタスクに対する新しいソリューションの探求を促進し、科学とソフトウェア エンジニアリングを切り離す標準化されたインターフェイスを通じて既存の方法と比較できるようになることを願っています。
私たちはライブラリを https://github.com/kaist-silab/rl4co で公開しています。

要約(オリジナル)

We introduce RL4CO, an extensive reinforcement learning (RL) for combinatorial optimization (CO) benchmark. RL4CO employs state-of-the-art software libraries as well as best practices in implementation, such as modularity and configuration management, to be efficient and easily modifiable by researchers for adaptations of neural network architecture, environments, and algorithms. Contrary to the existing focus on specific tasks like the traveling salesman problem (TSP) for performance assessment, we underline the importance of scalability and generalization capabilities for diverse optimization tasks. We also systematically benchmark sample efficiency, zero-shot generalization, and adaptability to changes in data distributions of various models. Our experiments show that some recent state-of-the-art methods fall behind their predecessors when evaluated using these new metrics, suggesting the necessity for a more balanced view of the performance of neural CO solvers. We hope RL4CO will encourage the exploration of novel solutions to complex real-world tasks, allowing to compare with existing methods through a standardized interface that decouples the science from the software engineering. We make our library publicly available at https://github.com/kaist-silab/rl4co.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google