Reinforcement Learning Aided Sequential Optimization for Unsignalized Intersection Management of Robot Traffic

要約

我々は、ランダムに到着するロボットの連続的な流れに対する最適な無信号交差点管理の問題を考察する。この問題には、混合整数プログラムの異なるインスタンスを繰り返し解くことが含まれ、素朴な最適化アルゴリズムによる計算時間はロボットと車線の数に応じて指数関数的に増大する。したがって、このようなアプローチはリアルタイムの実装には適していない。本論文では、学習と逐次最適化を組み合わせた解決フレームワークを提案する。特に、交通状態情報が与えられたときに、ロボットの横断順序を決定する共有ポリシーを学習するアルゴリズムを提案する。そして、その横断順序に従ってロボットの軌道を逐次最適化する。このアプローチは本質的に常に安全を保証する。我々は大規模なシミュレーションを用いてこのアプローチの性能を検証する。我々のアプローチは、平均して文献にあるヒューリスティクスを大幅に上回る。また、シミュレーションにより、本アプローチの計算時間がロボット数に対して線形にスケールすることを示す。さらに、実世界の課題に対処し、そのリアルタイム実装可能性を確立するために、解決フレームワークに若干の修正を加えて、学習したポリシーを物理ロボットに実装する。

要約(オリジナル)

We consider the problem of optimal unsignalized intersection management for continual streams of randomly arriving robots. This problem involves repeatedly solving different instances of a mixed integer program, for which the computation time using a naive optimization algorithm scales exponentially with the number of robots and lanes. Hence, such an approach is not suitable for real-time implementation. In this paper, we propose a solution framework that combines learning and sequential optimization. In particular, we propose an algorithm for learning a shared policy that given the traffic state information, determines the crossing order of the robots. Then, we optimize the trajectories of the robots sequentially according to that crossing order. This approach inherently guarantees safety at all times. We validate the performance of this approach using extensive simulations. Our approach, on average, significantly outperforms the heuristics from the literature. We also show through simulations that the computation time for our approach scales linearly with the number of robots. We further implement the learnt policies on physical robots with a few modifications to the solution framework to address real-world challenges and establish its real-time implementability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL