Multi-Agent Environments for Vehicle Routing Problems

要約

離散最適化問題に対する強化学習 (RL) アプローチの研究は大幅に増加しており、RL は従来オペレーションズ リサーチ (OR) が支配していた領域にまで拡張されています。
車両ルート問題は、RL 手法が大きな成功を収めている実用性の高い離散最適化問題の好例です。
こうした進歩にもかかわらず、オープンソースの開発フレームワークは依然として不足しており、アルゴリズムのテストと結果を客観的に比較する機能の両方が妨げられています。
これは最終的にこの分野の進歩を遅らせ、RL コミュニティと OR コミュニティ間のアイデアの交換を制限します。
ここでは、古典的な配車ルートの問題をシミュレートするマルチエージェント環境で構成されるライブラリを提案します。
PyTorch 上に構築されたこのライブラリは、簡単なカスタマイズと新しいルーティング問題の組み込みを可能にする柔軟なモジュラー アーキテクチャ設計を提供します。
これはエージェント環境サイクル (「AEC」) ゲーム モデルに従い、直感的な API を備えているため、迅速な導入と既存の強化学習フレームワークへの簡単な統合が可能になります。
このライブラリでは、RL コミュニティと OR コミュニティで使用されるアルゴリズム ベンチマークのテスト ベッド間のギャップを狭めるために、従来の OR ベンチマーク インスタンスを簡単に使用できます。
さらに、ベースライン RL モデルとトレーニング コードに加えて、各環境のベンチマーク インスタンス セットも提供します。

要約(オリジナル)

Research on Reinforcement Learning (RL) approaches for discrete optimization problems has increased considerably, extending RL to an area classically dominated by Operations Research (OR). Vehicle routing problems are a good example of discrete optimization problems with high practical relevance where RL techniques have had considerable success. Despite these advances, open-source development frameworks remain scarce, hampering both the testing of algorithms and the ability to objectively compare results. This ultimately slows down progress in the field and limits the exchange of ideas between the RL and OR communities. Here we propose a library composed of multi-agent environments that simulates classic vehicle routing problems. The library, built on PyTorch, provides a flexible modular architecture design that allows easy customization and incorporation of new routing problems. It follows the Agent Environment Cycle (‘AEC’) games model and has an intuitive API, enabling rapid adoption and easy integration into existing reinforcement learning frameworks. The library allows for a straightforward use of classical OR benchmark instances in order to narrow the gap between the test beds for algorithm benchmarking used by the RL and OR communities. Additionally, we provide benchmark instance sets for each environment, as well as baseline RL models and training code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google