Surge Routing: Event-informed Multiagent Reinforcement Learning for Autonomous Rideshare

要約

カンファレンス、コンサート、スポーツの試合などの大規模なイベントでは、平均的な需要パターンでは捉えられない乗車サービスの需要が急増することが多く、ルーティング アルゴリズムに特有の課題が生じます。
私たちは、インターネットからイベント データを収集して需要の急増を予測して適応し、他のルーティング プロトコルよりも多くのリクエストに対応する協調的なルーティングとピックアップ ポリシーを生成する、自律走行タクシーの学習フレームワークを提案します。
これは、(i) インターネットからイベント情報を収集し、需要を予測するニューラル ネットワークの入力特徴として使用できる密なベクトル表現を生成するイベント処理フレームワークと、(i) の組み合わせによってこれを実現します。
(ii) これらの密なベクトル表現を使用して、マップ全体にわたる時間当たりの需要を予測する 2 つのニューラル ネットワーク システム。
(iii) 地域の占有スケジュールを活用して、セクターにわたる公的に利用可能な需要データを離散化された道路交差点にマッピングする確率論的アプローチ。
最後に、(iv) 交差点での予測需要を使用して急増を予測し、限られたサンプリング確実性の等価性で一度に 1 つのエージェントのロールアウトを使用してタクシーのルートを設定する、スケーラブルなモデルベースの強化学習フレームワーク。
2022 年のニューヨーク市の実際のライドシェア データと、マンハッタンの 300 のユニークな会場にわたる 2000 以上のイベントの情報を使用して、ルートとピックアップのポリシーを学習します。
38 の異なるセクター (2,235 の交差点) を含む地図上で 100 台のタクシーを使用してアプローチをテストします。
私たちの実験結果は、サージ需要状況に対処する際に、オペレーション リサーチにおける他のモデルベースの RL フレームワークや他の古典的なアルゴリズムと比べて、私たちの方法が 1 分あたり平均 6 ドル多いリクエスト (1 時間あたり約 360 ドル多いリクエスト) を処理するルーティング ポリシーを取得することを示しています。

要約(オリジナル)

Large events such as conferences, concerts and sports games, often cause surges in demand for ride services that are not captured in average demand patterns, posing unique challenges for routing algorithms. We propose a learning framework for an autonomous fleet of taxis that scrapes event data from the internet to predict and adapt to surges in demand and generates cooperative routing and pickup policies that service a higher number of requests than other routing protocols. We achieve this through a combination of (i) an event processing framework that scrapes the internet for event information and generates dense vector representations that can be used as input features for a neural network that predicts demand; (ii) a two neural network system that predicts hourly demand over the entire map, using these dense vector representations; (iii) a probabilistic approach that leverages locale occupancy schedules to map publicly available demand data over sectors to discretized street intersections; and finally, (iv) a scalable model-based reinforcement learning framework that uses the predicted demand over intersections to anticipate surges and route taxis using one-agent-at-a-time rollout with limited sampling certainty equivalence. We learn routing and pickup policies using real NYC ride share data for 2022 and information for more than 2000 events across 300 unique venues in Manhattan. We test our approach with a fleet of 100 taxis on a map with 38 different sectors (2235 street intersections). Our experimental results demonstrate that our method obtains routing policies that service $6$ more requests on average per minute (around $360$ more requests per hour) than other model-based RL frameworks and other classical algorithms in operations research when dealing with surge demand conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google