Joint Adaptive OFDM and Reinforcement Learning Design for Autonomous Vehicles: Leveraging Age of Updates

要約

ミリ波 (mmWave) ベースの直交周波数分割多重 (OFDM) は、高解像度センシングと高速データ伝送に適した代替手段として際立っています。
通信とセンシングの要件を満たすために、多くの研究では、フレーム内のシンボル数や通信スロット内のフレーム数などの Wave のハイパーパラメータが事前に定義されている静的構成が提案されています。
しかし、2 つの事実により、問題を再定義する必要があります。(1) 環境は動的で不確実であることが多く、(2) ミリ波はワイヤレス環境によって深刻な影響を受けます。
この課題が非常に顕著である顕著な例は、自動運転車 (AV) です。
このようなシステムは、ミリ波を使用した統合センシングおよび通信 (ISAC) を利用して、データ伝送と環境のダイナミズムを管理します。
この研究では、AV が強化学習技術と組み合わせてキュー状態情報 (QSI) とチャネル状態情報 (CSI) を利用して通信とセンシングを管理する自律車両ネットワークについて考察します。
これにより、AV は、他の AV との安定した通信リンクを確立することと、周囲の物体の速度を高解像度で正確に推定するという 2 つの主な目的を達成できます。
したがって、通信パフォーマンスは、キューの状態、実効データ速度、および廃棄パケット率に基づいて評価されます。
対照的に、センシングの有効性は速度分解能を使用して評価されます。
さらに、動的変調に適応 OFDM 技術を活用し、更新の経過時間を利用して通信バッファを処理し、センシングを向上させる報酬関数を提案します。
このシステムは、Advanced Actor-Critic (A2C) および近接ポリシー最適化 (PPO) を使用して検証されます。
さらに、当社のソリューションを既存の設計と比較し、コンピューターシミュレーションによってその優れたパフォーマンスを実証します。

要約(オリジナル)

Millimeter wave (mmWave)-based orthogonal frequency-division multiplexing (OFDM) stands out as a suitable alternative for high-resolution sensing and high-speed data transmission. To meet communication and sensing requirements, many works propose a static configuration where the wave’s hyperparameters such as the number of symbols in a frame and the number of frames in a communication slot are already predefined. However, two facts oblige us to redefine the problem, (1) the environment is often dynamic and uncertain, and (2) mmWave is severely impacted by wireless environments. A striking example where this challenge is very prominent is autonomous vehicle (AV). Such a system leverages integrated sensing and communication (ISAC) using mmWave to manage data transmission and the dynamism of the environment. In this work, we consider an autonomous vehicle network where an AV utilizes its queue state information (QSI) and channel state information (CSI) in conjunction with reinforcement learning techniques to manage communication and sensing. This enables the AV to achieve two primary objectives: establishing a stable communication link with other AVs and accurately estimating the velocities of surrounding objects with high resolution. The communication performance is therefore evaluated based on the queue state, the effective data rate, and the discarded packets rate. In contrast, the effectiveness of the sensing is assessed using the velocity resolution. In addition, we exploit adaptive OFDM techniques for dynamic modulation, and we suggest a reward function that leverages the age of updates to handle the communication buffer and improve sensing. The system is validated using advantage actor-critic (A2C) and proximal policy optimization (PPO). Furthermore, we compare our solution with the existing design and demonstrate its superior performance by computer simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google