Uncertainty-aware Grounded Action Transformation towards Sim-to-Real Transfer for Traffic Signal Control

要約

交通信号制御 (TSC) は、何百万もの人々の日常生活に影響を与える複雑かつ重要なタスクです。
強化学習 (RL) は交通信号制御の最適化において有望な結果を示していますが、現在の RL ベースの TSC 手法は主にシミュレーションでトレーニングされており、シミュレーションと現実世界との間のパフォーマンスのギャップに悩まされています。
この論文では、UGAT と呼ばれるシミュレーションから現実世界へ (sim-to-real) 転送アプローチを提案します。これは、シミュレーション内のアクションを動的に変換することで、シミュレーション環境からトレーニングされた学習済みポリシーを現実世界環境に転送します。
不確実性を利用して、遷移ダイナミクスの領域ギャップを緩和します。
シミュレートされたトラフィック環境でこの方法を評価し、現実世界における転送された RL ポリシーのパフォーマンスが大幅に向上することを示します。

要約(オリジナル)

Traffic signal control (TSC) is a complex and important task that affects the daily lives of millions of people. Reinforcement Learning (RL) has shown promising results in optimizing traffic signal control, but current RL-based TSC methods are mainly trained in simulation and suffer from the performance gap between simulation and the real world. In this paper, we propose a simulation-to-real-world (sim-to-real) transfer approach called UGAT, which transfers a learned policy trained from a simulated environment to a real-world environment by dynamically transforming actions in the simulation with uncertainty to mitigate the domain gap of transition dynamics. We evaluate our method on a simulated traffic environment and show that it significantly improves the performance of the transferred RL policy in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google