mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for Millimeter Wave Radar

要約

タイトル：mmBodyベンチマーク：ミリ波レーダー用の3Dボディ再構築データセットと分析

要約：
– ミリ波レーダーは、煙、雨、雪、弱い照明などの不利な環境下でも動作するため、人気がある。
– 以前の研究では、ノイズやスパースなミリ波レーダー信号から3D骨格やメッシュを再構築する可能性が探究されたが、シーンを跨いでどの程度正確に3Dボディを再構築できるか、カメラと比較してどのようにパフォーマンスが異なるかは不明である。
– この研究では、複数のセンサーを使用して自動的な3Dボディ注釈システムを設計して構築し、大規模なデータセットを収集した。
– データセットには、さまざまなシーンでの同期とキャリブレーションされたmmWaveレーダーの点群とRGB(D)画像が含まれ、シーン内の人間の骨格/メッシュ注釈もある。
– このデータセットを使用して、さまざまなセンサーからの入力で最先端の手法をトレーニングし、さまざまなシナリオでテストした。
– 結果から、1）生成された点群のノイズとスパースさにもかかわらず、ミリ波レーダーはRGBカメラよりも再構築精度が高く、ただし深度カメラよりも低いことを示した。2）ミリ波レーダーによる再構築は、不利な天候条件に中程度に影響されるが、RGB(D)カメラは深刻に影響される。
– さらに、データセットと結果の分析から、ミリ波レーダーからの再構築と異なるセンサーからの信号の組み合わせを改善するための洞察が得られた。

要約(オリジナル)

Millimeter Wave (mmWave) Radar is gaining popularity as it can work in adverse environments like smoke, rain, snow, poor lighting, etc. Prior work has explored the possibility of reconstructing 3D skeletons or meshes from the noisy and sparse mmWave Radar signals. However, it is unclear how accurately we can reconstruct the 3D body from the mmWave signals across scenes and how it performs compared with cameras, which are important aspects needed to be considered when either using mmWave radars alone or combining them with cameras. To answer these questions, an automatic 3D body annotation system is first designed and built up with multiple sensors to collect a large-scale dataset. The dataset consists of synchronized and calibrated mmWave radar point clouds and RGB(D) images in different scenes and skeleton/mesh annotations for humans in the scenes. With this dataset, we train state-of-the-art methods with inputs from different sensors and test them in various scenarios. The results demonstrate that 1) despite the noise and sparsity of the generated point clouds, the mmWave radar can achieve better reconstruction accuracy than the RGB camera but worse than the depth camera; 2) the reconstruction from the mmWave radar is affected by adverse weather conditions moderately while the RGB(D) camera is severely affected. Further, analysis of the dataset and the results shadow insights on improving the reconstruction from the mmWave radar and the combination of signals from different sensors.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI