milliFlow: Scene Flow Estimation on mmWave Radar Point Cloud for Human Motion Sensing

要約

人間の動きのセンシングは、意思決定、ユーザー対話、およびパーソナライズされたサービスのためのスマート システムにおいて重要な役割を果たします。
これまでに行われた広範な研究は主にカメラに基づいており、その侵入的な性質によりスマート ホーム アプリケーションでの使用が制限されています。
これに対処するために、プライバシーに配慮した機能によりミリ波レーダーが人気を集めています。
この研究では、mmWave 点群の補足的なモーション情報としてシーン フローを推定する新しい深層学習アプローチである milliFlow を提案します。これは、中間レベルの機能として機能し、下流の人間のモーション センシング タスクに直接利益をもたらします。
実験結果は、競合するアプローチと比較した場合、私たちの方法の優れたパフォーマンスを示しています。
さらに、シーンフロー情報を組み込むことで、人物の行動認識と人物解析の大幅な向上を実現し、人体部位の追跡をサポートします。

要約(オリジナル)

Human motion sensing plays a crucial role in smart systems for decision-making, user interaction, and personalized services. Extensive research that has been conducted is predominantly based on cameras, whose intrusive nature limits their use in smart home applications. To address this, mmWave radars have gained popularity due to their privacy-friendly features. In this work, we propose milliFlow, a novel deep learning approach to estimate scene flow as complementary motion information for mmWave point cloud, serving as an intermediate level of features and directly benefiting downstream human motion sensing tasks. Experimental results demonstrate the superior performance of our method when compared with the competing approaches. Furthermore, by incorporating scene flow information, we achieve remarkable improvements in human activity recognition and human parsing and support human body part tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google