milliFlow: Scene Flow Estimation on mmWave Radar Point Cloud for Human Motion Sensing

要約

ユビキタス コンピューティングの時代が近づき、人間の動作センシングは、意思決定、ユーザー インタラクション、およびパーソナライズされたサービスのためのスマート システムにおいて重要な役割を果たしています。
人間の追跡、姿勢推定、ジェスチャ認識、およびアクティビティ認識に関して広範な研究が行われており、これらは主に従来の方法のカメラに基づいています。
ただし、カメラの侵入的な性質により、スマート ホーム アプリケーションでの使用は制限されます。
これに対処するために、プライバシーに配慮した機能によりミリ波レーダーが人気を集めています。
この研究では、ミリ波点群の補足的な動き情報としてのシーン フロー推定のための新しいディープ ラーニング手法である \textit{milliFlow} を提案します。これは、中間レベルの機能として機能し、下流の人間の動きを感知するタスクに直接利益をもたらします。
実験結果は、平均 3D エンドポイント エラーが 4.6 cm で、競合するアプローチを大幅に上回る、当社の手法の優れたパフォーマンスを示しています。
さらに、シーンフロー情報を組み込むことで、人物の行動認識、人物の解析、人体部位の追跡において大幅な向上を実現しました。
この分野でのさらなる研究を促進するために、私たちはオープンアクセスのためのコードベースとデータセットを提供しています。

要約(オリジナル)

Approaching the era of ubiquitous computing, human motion sensing plays a crucial role in smart systems for decision making, user interaction, and personalized services. Extensive research has been conducted on human tracking, pose estimation, gesture recognition, and activity recognition, which are predominantly based on cameras in traditional methods. However, the intrusive nature of cameras limits their use in smart home applications. To address this, mmWave radars have gained popularity due to their privacy-friendly features. In this work, we propose \textit{milliFlow}, a novel deep learning method for scene flow estimation as a complementary motion information for mmWave point cloud, serving as an intermediate level of features and directly benefiting downstream human motion sensing tasks. Experimental results demonstrate the superior performance of our method with an average 3D endpoint error of 4.6cm, significantly surpassing the competing approaches. Furthermore, by incorporating scene flow information, we achieve remarkable improvements in human activity recognition, human parsing, and human body part tracking. To foster further research in this area, we provide our codebase and dataset for open access.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google