RL4CO: an Extensive Reinforcement Learning for Combinatorial Optimization Benchmark

要約

組み合わせ最適化 (CO) ベンチマークのための広範な強化学習 (RL) である RL4CO を紹介します。
RL4CO は、モジュール性や構成管理などの実装におけるベスト プラクティスに加えて、最先端のソフトウェア ライブラリを採用しており、ニューラル ネットワーク アーキテクチャ、環境、RL アルゴリズムを適応させるために研究者が効率的かつ簡単に変更できるようにしています。
パフォーマンス評価のための巡回セールスマン問題 (TSP) のような特定のタスクに焦点を当ててきた既存の取り組みとは対照的に、さまざまな CO タスクに対する拡張性と一般化機能の重要性を強調します。
また、ゼロショット汎化、サンプル効率、さまざまなモデルのデータ分布の変化への適応性を体系的にベンチマークします。
私たちの実験では、これらのメトリクスを使用して評価すると、最近の SOTA 手法の一部が以前の手法に後れをとっていることが示されており、ニューラル CO (NCO) ソルバーのパフォーマンスについてよりバランスのとれた見方が必要であることが示唆されています。
RL4CO によって、複雑な現実世界のタスクに対する新しいソリューションの探求が促進され、NCO コミュニティが科学とソフトウェア エンジニアリングを切り離す標準化されたインターフェイスを通じて既存の手法と比較できるようになることを願っています。
私たちはライブラリを https://github.com/kaist-silab/rl4co で公開しています。

要約(オリジナル)

We introduce RL4CO, an extensive reinforcement learning (RL) for combinatorial optimization (CO) benchmark. RL4CO employs state-of-the-art software libraries as well as best practices in implementation, such as modularity and configuration management, to be efficient and easily modifiable by researchers for adaptations of neural network architecture, environments, and RL algorithms. Contrary to the existing focus on specific tasks like the traveling salesman problem (TSP) for performance assessment, we underline the importance of scalability and generalization capabilities for diverse CO tasks. We also systematically benchmark zero-shot generalization, sample efficiency, and adaptability to changes in data distributions of various models. Our experiments show that some recent SOTA methods fall behind their predecessors when evaluated using these metrics, suggesting the necessity for a more balanced view of the performance of neural CO (NCO) solvers. We hope RL4CO will encourage the exploration of novel solutions to complex real-world tasks, allowing the NCO community to compare with existing methods through a standardized interface that decouples the science from software engineering. We make our library publicly available at https://github.com/kaist-silab/rl4co.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google