Enabling Visual Recognition at Radio Frequency

要約

このペーパーでは、RF 解像度を LiDAR に近づけると同時に、光信号にとって困難な条件に対する回復力を提供する新しい RF イメージング システムである PanoRadar を紹介します。
当社の LiDAR と同等の 3D イメージング結果により、表面法線推定、セマンティック セグメンテーション、物体検出など、無線周波数でのさまざまな視覚認識タスクが初めて可能になります。
PanoRadar は、回転シングルチップ ミリ波レーダーと、新しい信号処理および機械学習アルゴリズムの組み合わせを利用して、周囲の高解像度 3D 画像を作成します。
当社のシステムはロボットの動きを正確に推定し、合成アンテナの高密度グリッドを介してコヒーレントなイメージングを可能にします。
また、高い方位角分解能を利用して、学習ベースの方法を使用して仰角分解能を向上させます。
さらに、PanoRadar は 2D 畳み込みによる 3D 学習に取り組み、RF 信号の固有の特性による課題に対処します。
私たちの結果は、12 の建物にわたる PanoRadar の堅牢なパフォーマンスを示しています。

要約(オリジナル)

This paper introduces PanoRadar, a novel RF imaging system that brings RF resolution close to that of LiDAR, while providing resilience against conditions challenging for optical signals. Our LiDAR-comparable 3D imaging results enable, for the first time, a variety of visual recognition tasks at radio frequency, including surface normal estimation, semantic segmentation, and object detection. PanoRadar utilizes a rotating single-chip mmWave radar, along with a combination of novel signal processing and machine learning algorithms, to create high-resolution 3D images of the surroundings. Our system accurately estimates robot motion, allowing for coherent imaging through a dense grid of synthetic antennas. It also exploits the high azimuth resolution to enhance elevation resolution using learning-based methods. Furthermore, PanoRadar tackles 3D learning via 2D convolutions and addresses challenges due to the unique characteristics of RF signals. Our results demonstrate PanoRadar’s robust performance across 12 buildings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google