MITO: Enabling Non-Line-of-Sight Perception using Millimeter-waves through Real-World Datasets and Simulation Tools

要約

世界を観察する能力は、環境と対話する方法について、推論と情報に基づいた決定を下すための基本です。
ただし、閉塞などの一般的な発生のために光学的知覚が中断されることがよくあり、既存のビジョンシステムに課題を引き起こす可能性があります。
多様な日常のオブジェクトの最初のミリ波（mmwave）データセットであるMitoを紹介します。これは、異なる周波数とRGB-Dカメラで動作する2つのmmwaveレーダーを持つUR5ロボットアームを使用して収集されます。
可視光とは異なり、mmwave信号は一般的な閉塞（段ボール箱、生地、プラスチックなど）に浸透する可能性がありますが、各mmwaveフレームは典型的なカメラよりもはるかに低い解像度です。
高解像度のmmwave画像をキャプチャするために、合成された開口部にロボットのモビリティとヒューズフレームを活用します。
MITOは2,400万MMWaveフレームをキャプチャし、それらを使用して、76種類のオブジェクトから取られたRGB-D画像、セグメンテーションマスク、および生のMMWaveサイクルだけでなく、視線および非光景（NLOS）、およびRGB-D画像、Sight-of-light-of-light-of-right-of-right-of-right-of-right-of-right-of-right-of-sight（nlos）で生成します。
3Dトライアングルメッシュの合成MMWAVE画像を生成するために使用できるオープンソースシミュレーションツールを開発します。
最後に、NLOSセグメンテーションと分類のためのベンチマークを開発することにより、より広範なNLOS認識を可能にするためのデータセットとシミュレーターのユーティリティを実証します。

要約(オリジナル)

The ability to observe the world is fundamental to reasoning and making informed decisions on how to interact with the environment. However, optical perception can often be disrupted due to common occurrences, such as occlusions, which can pose challenges to existing vision systems. We present MITO, the first millimeter-wave (mmWave) dataset of diverse, everyday objects, collected using a UR5 robotic arm with two mmWave radars operating at different frequencies and an RGB-D camera. Unlike visible light, mmWave signals can penetrate common occlusions (e.g., cardboard boxes, fabric, plastic) but each mmWave frame has much lower resolution than typical cameras. To capture higher-resolution mmWave images, we leverage the robot’s mobility and fuse frames over the synthesized aperture. MITO captures over 24 million mmWave frames and uses them to generate 550 high-resolution mmWave (synthetic aperture) images in line-of-sight and non-light-of-sight (NLOS), as well as RGB-D images, segmentation masks, and raw mmWave signals, taken from 76 different objects. We develop an open-source simulation tool that can be used to generate synthetic mmWave images for any 3D triangle mesh. Finally, we demonstrate the utility of our dataset and simulator for enabling broader NLOS perception by developing benchmarks for NLOS segmentation and classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google