Knowledge-Driven Multi-Agent Reinforcement Learning for Computation Offloading in Cybertwin-Enabled Internet of Vehicles

要約

車両のインターネット (IoV) におけるモバイル エッジ コンピューティング (MEC) は、車両の計算集約型タスクを路側機 (RSU) にオフロードすることで、車載の計算負荷を軽減できます。
しかし、既存のモデルベースのタスクオフロード手法は、車両の増加に伴い計算が大幅に複雑になり、データ駆動型の手法は解釈可能性に欠けています。
これらの課題に対処するために、本稿では、サイバーツイン対応 IoV におけるタスク オフロードのレイテンシを削減するための知識駆動型マルチエージェント強化学習 (KMARL) アプローチを提案します。
具体的には、検討されているシナリオでは、サイバーツインは各車両の通信エージェントとして機能し、仮想空間内で情報を交換し、荷降ろしの決定を行います。
タスクオフロードの待ち時間を短縮するために、各車両に最適なオフロードオプションを選択する KMARL アプローチが提案されています。このアプローチでは、グラフ構造の通信トポロジとニューラル ネットワークへの順列不変性に関するドメイン知識を活用してグラフ ニューラル ネットワークが採用されています。
数値結果は、私たちが提案した KMARL が他の方法と比較してより高い報酬をもたらし、ドメイン知識の統合の恩恵を受けてスケーラビリティが向上していることを示しています。

要約(オリジナル)

By offloading computation-intensive tasks of vehicles to roadside units (RSUs), mobile edge computing (MEC) in the Internet of Vehicles (IoV) can relieve the onboard computation burden. However, existing model-based task offloading methods suffer from heavy computational complexity with the increase of vehicles and data-driven methods lack interpretability. To address these challenges, in this paper, we propose a knowledge-driven multi-agent reinforcement learning (KMARL) approach to reduce the latency of task offloading in cybertwin-enabled IoV. Specifically, in the considered scenario, the cybertwin serves as a communication agent for each vehicle to exchange information and make offloading decisions in the virtual space. To reduce the latency of task offloading, a KMARL approach is proposed to select the optimal offloading option for each vehicle, where graph neural networks are employed by leveraging domain knowledge concerning graph-structure communication topology and permutation invariance into neural networks. Numerical results show that our proposed KMARL yields higher rewards and demonstrates improved scalability compared with other methods, benefitting from the integration of domain knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google