Multiagent Reinforcement Learning for Autonomous Routing and Pickup Problem with Adaptation to Variable Demand

要約

都市地図上に確率的に現れるリクエストに対応する任務を負った自動運転車のルートのルーティング/ピックアップ ポリシーを生成するための学習フレームワークを導き出します。
私たちは、1) 車両間の調整を引き起こし、それによってサービス要求の待ち時間を短縮する、2) 近視眼的ではなく、アプリオリに潜在的な将来の要求を考慮する、3) 根本的な需要分布の変化に適応できる、という方針に焦点を当てています。
.
具体的には、オンピーク時間とオフピーク時間など、都市環境における実際の需要状況の変動に適応するポリシーに関心があります。
これは、(i) オフラインでトレーニングされたポリシーのパフォーマンスを向上させるオンライン プレイ アルゴリズムと、(ii) 基礎となる需要モデルの変化に適応できるようにするオフライン近似スキームの組み合わせによって達成されます。
特に、Wasserstein Ambiguity Set の q-valid radius を使用して有効領域を定量化することにより、学習したポリシーをさまざまな需要分布に適応させることができます。
現在の需要が元の有効領域外にある場合、元のトレーニング済みのオフライン近似を切り替えるメカニズムを提案します。
この場合、Wasserstein 距離に関して現在の需要に近い過去の需要モデルでトレーニングされたオフライン アーキテクチャを使用することを提案します。
ピーク時とオフピーク時の変動性が高いサンフランシスコの実際のタクシー リクエストに対するルーティングとピックアップ ポリシーを学習し、需要分布の実際の変動に適応する方法の能力を実証します。
私たちの数値結果は、私たちの方法が代替のロールアウトベースの強化学習スキームや、オペレーションズリサーチの他の古典的な方法よりも優れていることを示しています。

要約(オリジナル)

We derive a learning framework to generate routing/pickup policies for a fleet of autonomous vehicles tasked with servicing stochastically appearing requests on a city map. We focus on policies that 1) give rise to coordination amongst the vehicles, thereby reducing wait times for servicing requests, 2) are non-myopic, and consider a-priori potential future requests, 3) can adapt to changes in the underlying demand distribution. Specifically, we are interested in policies that are adaptive to fluctuations of actual demand conditions in urban environments, such as on-peak vs. off-peak hours. We achieve this through a combination of (i) an online play algorithm that improves the performance of an offline-trained policy, and (ii) an offline approximation scheme that allows for adapting to changes in the underlying demand model. In particular, we achieve adaptivity of our learned policy to different demand distributions by quantifying a region of validity using the q-valid radius of a Wasserstein Ambiguity Set. We propose a mechanism for switching the originally trained offline approximation when the current demand is outside the original validity region. In this case, we propose to use an offline architecture, trained on a historical demand model that is closer to the current demand in terms of Wasserstein distance. We learn routing and pickup policies over real taxicab requests in San Francisco with high variability between on-peak and off-peak hours, demonstrating the ability of our method to adapt to real fluctuation in demand distributions. Our numerical results demonstrate that our method outperforms alternative rollout-based reinforcement learning schemes, as well as other classical methods from operations research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google