Generalizable Wireless Navigation through Physics-Informed Reinforcement Learning in Wireless Digital Twin

要約

無線信号を利用した屋内ロボットのナビゲーションへの注目が高まっているのは、これらの信号が高解像度の角度および時間測定値を取得できるためです。
ただし、当初は未知の環境での無線屋内ナビゲーション (WIN) にエンドツーエンドの汎用強化学習 (RL) を採用することは、一般化能力が限られており、サンプル効率が低いため、依然として大きな課題が残っています。
同時に、無線周波数伝播に基づく純粋なモデルベースのソリューションはシンプルで一般化可能ですが、複雑な環境では最適な決定を見つけることができません。
この研究は、新しい物理情報に基づいた RL (PIRL) が、最適な軌道に関する物理情報に基づいた用語とともに、ターゲットまでの距離に基づく標準的なコストであることを提案しています。
提案された PIRL は、無線信号の電磁放射 (EM) シミュレーションで強化された AI Habitat データセットからの大規模な屋内環境のシミュレーションに基づいて構築された無線デジタル ツイン (WDT) を使用して評価されます。
PIRL は、一般化可能性とパフォーマンスの点で、標準的な RL と純粋に物理ベースのソリューションの両方よりも大幅に優れていることが示されています。
さらに、結果として得られる PIRL ポリシーは、物理ヒューリスティックと経験的に一致しているという点で説明可能です。

要約(オリジナル)

The growing focus on indoor robot navigation utilizing wireless signals has stemmed from the capability of these signals to capture high-resolution angular and temporal measurements. However, employing end-to-end generic reinforcement learning (RL) for wireless indoor navigation (WIN) in initially unknown environments remains a significant challenge, due to its limited generalization ability and poor sample efficiency. At the same time, purely model-based solutions, based on radio frequency propagation, are simple and generalizable, but unable to find optimal decisions in complex environments. This work proposes a novel physics-informed RL (PIRL) were a standard distance-to-target-based cost along with physics-informed terms on the optimal trajectory. The proposed PIRL is evaluated using a wireless digital twin (WDT) built upon simulations of a large class of indoor environments from the AI Habitat dataset augmented with electromagnetic radiation (EM) simulation for wireless signals. It is shown that the PIRL significantly outperforms both standard RL and purely physics-based solutions in terms of generalizability and performance. Furthermore, the resulting PIRL policy is explainable in that it is empirically consistent with the physics heuristic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google