MiliPoint: A Point Cloud Dataset for mmWave Radar

要約

ミリ波 (mmWave) レーダーは、従来のカメラベースのシステムと比較して、人間の活動を検知するための魅力的でコスト効率の高い代替手段として浮上しています。
ミリ波レーダーは非侵入型でもあるため、ユーザーのプライバシーをより適切に保護します。
ただし、ミリ波レーダーは無線周波数 (RF) ベースのテクノロジーであるため、物体からの反射信号を捕捉することに依存しているため、カメラに比べてノイズの影響を受けやすくなります。
これは、深層学習コミュニティに興味深い疑問を引き起こします。このような魅力的なセンサーに対して、より効果的な点セットベースの深層学習手法を開発できるでしょうか?
この質問に答えるために、MiliPoint と呼ばれる私たちの取り組みでは、人間の活動認識にミリ波レーダーをどのように利用できるかを調査するためにコミュニティに大規模なオープン データセットを提供することで、このアイデアを掘り下げています。
さらに、MiliPoint は、既存のデータセットよりもサイズが大きく、より多様な人間の行動が表現されており、人間の活動認識における 3 つの主要なタスクをすべて網羅しているという点で際立っています。
また、DGCNN、PointNet++、PointTransformer などの一連のポイントベースのディープ ニューラル ネットワークを MiliPoint 上に確立しました。これは、さらなる開発のための基礎ベースラインを設定するのに役立ちます。

要約(オリジナル)

Millimetre-wave (mmWave) radar has emerged as an attractive and cost-effective alternative for human activity sensing compared to traditional camera-based systems. mmWave radars are also non-intrusive, providing better protection for user privacy. However, as a Radio Frequency (RF) based technology, mmWave radars rely on capturing reflected signals from objects, making them more prone to noise compared to cameras. This raises an intriguing question for the deep learning community: Can we develop more effective point set-based deep learning methods for such attractive sensors? To answer this question, our work, termed MiliPoint, delves into this idea by providing a large-scale, open dataset for the community to explore how mmWave radars can be utilised for human activity recognition. Moreover, MiliPoint stands out as it is larger in size than existing datasets, has more diverse human actions represented, and encompasses all three key tasks in human activity recognition. We have also established a range of point-based deep neural networks such as DGCNN, PointNet++ and PointTransformer, on MiliPoint, which can serve to set the ground baseline for further development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google