Temporal Transfer Learning for Traffic Optimization with Coarse-grained Advisory Autonomy

要約

近年のコネクテッドカーと自動運転車（CAV）技術の発展は、車両の速度とスループットを最大化するために、密集した都市交通を最適化する研究に拍車をかけている。本論文では、人間のドライバーにリアルタイムで走行勧告を出すことで、自動運転車の近い将来の性能を実現する、勧告型自律性を探求する。交通システムは複雑であるため、CAVの協調に関する最近の研究では、深層強化学習（RL）の活用に頼っている。粗視化助言は0次ホールドとして形式化され、我々は0.1秒から40秒までのホールド時間の範囲を考慮する。しかし、CAVの高頻度タスクは類似しているにもかかわらず、深層RLを直接適用しても、アドバイザリー自律タスクに一般化できない。これを克服するために、我々はゼロショット転送を利用し、ソースタスクのセット（指定されたホールド時間を持つ特定の交通シナリオ）上でポリシーを訓練し、その後、異なるターゲットタスク上でこれらのポリシーの有効性を評価する。ゼロショット転送のためのソースタスクを選択するために時間的転送学習(TTL)アルゴリズムを導入し、タスクの全範囲を解決するために時間的構造を体系的に活用する。TTLは、様々なタスクのパフォーマンスを最大化するために、最適なソースタスクを選択する。多様な混合トラフィックシナリオでアルゴリズムを検証し、TTLがベースラインよりも確実にタスクを解決することを実証する。本論文は、交通流最適化におけるTTLを用いた粗視化助言自律性の可能性を強調する。

要約(オリジナル)

The recent development of connected and automated vehicle (CAV) technologies has spurred investigations to optimize dense urban traffic to maximize vehicle speed and throughput. This paper explores advisory autonomy, in which real-time driving advisories are issued to the human drivers, thus achieving near-term performance of automated vehicles. Due to the complexity of traffic systems, recent studies of coordinating CAVs have resorted to leveraging deep reinforcement learning (RL). Coarse-grained advisory is formalized as zero-order holds, and we consider a range of hold duration from 0.1 to 40 seconds. However, despite the similarity of the higher frequency tasks on CAVs, a direct application of deep RL fails to be generalized to advisory autonomy tasks. To overcome this, we utilize zero-shot transfer, training policies on a set of source tasks–specific traffic scenarios with designated hold durations–and then evaluating the efficacy of these policies on different target tasks. We introduce Temporal Transfer Learning (TTL) algorithms to select source tasks for zero-shot transfer, systematically leveraging the temporal structure to solve the full range of tasks. TTL selects the most suitable source tasks to maximize the performance of the range of tasks. We validate our algorithms on diverse mixed-traffic scenarios, demonstrating that TTL more reliably solves the tasks than baselines. This paper underscores the potential of coarse-grained advisory autonomy with TTL in traffic flow optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL