Deep-Dispatch: A Deep Reinforcement Learning-Based Vehicle Dispatch Algorithm for Advanced Air Mobility

要約

電動垂直離着陸（eVTOL）航空機を使用した近い将来のエアタクシー運行は、eVTOLの頻繁な充電の必要性、バーティポートの離着陸パッドの制限、時間変動する需要と電力価格の影響を受けるなどの制約を受けることになる。
eVTOL ディスパッチの問題は独特で、特に解決が困難です。
以前、私たちはこの問題に対処するための最適化モデルを開発しました。
ただし、このような最適化モデルは、問題の規模が大きくなると計算実行時間が法外に長くなり、現実世界の実装では実用的ではなくなります。
この問題を克服するために、当社は 2 つの深層強化学習ベースの eVTOL ディスパッチ アルゴリズム、つまりシングル エージェントおよびマルチエージェントの深層 Q ラーニング eVTOL ディスパッチ アルゴリズムを開発しました。その目的は、営業利益を最大化することです。
eVTOL ベースの旅客輸送シミュレーション環境は、eVTOL、ベルティポート、需要の数が異なる 36 ドルの数値ケース全体でアルゴリズムのパフォーマンスを評価するために構築されました。
結果は、マルチエージェント eVTOL ディスパッチ アルゴリズムが、ベンチマーク最適化モデルと比較して大幅に少ない計算コストで最適なディスパッチ ポリシーに厳密に近似できることを示しています。
マルチエージェント アルゴリズムは、生成される利益とトレーニング時間の両方の点で、シングル エージェントのアルゴリズムよりも優れていることがわかりました。

要約(オリジナル)

Near future air taxi operations with electric vertical take-off and landing (eVTOL) aircraft will be constrained by the need for frequent recharging of eVTOLs, limited takeoff and landing pads in vertiports, and subject to time-varying demand and electricity prices, making the eVTOL dispatch problem unique and particularly challenging to solve. Previously, we have developed optimization models to address this problem. Such optimization models however suffer from prohibitively high computational run times when the scale of the problem increases, making them less practical for real world implementation. To overcome this issue, we have developed two deep reinforcement learning-based eVTOL dispatch algorithms, namely single-agent and multi-agent deep Q-learning eVTOL dispatch algorithms, where the objective is to maximize operating profit. An eVTOL-based passenger transportation simulation environment was built to assess the performance of our algorithms across $36$ numerical cases with varying number of eVTOLs, vertiports, and demand. The results indicate that the multi-agent eVTOL dispatch algorithm can closely approximate the optimal dispatch policy with significantly less computational expenses compared to the benchmark optimization model. The multi-agent algorithm was found to outperform the single-agent counterpart with respect to both profits generated and training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google