SUPER: Seated Upper Body Pose Estimation using mmWave Radars

要約

先進国では、成人は仕事、運転、日常生活の中で毎日かなりの時間を座ったまま過ごしています。
ミリ波レーダーを使用して座った人間の上半身のポーズを特徴付けることは、人間と機械の相互作用、輸送、交通安全に多くの用途がある重要なテーマですが、十分に研究されていません。
この研究では、近接したデュアルミリ波レーダーを利用して、座った上半身の人間の姿勢を推定するためのフレームワークである SUPER を考案しました。
新しいマスキングアルゴリズムは、レーダーからのデータをコヒーレントに融合して、動きの多いが小さいレーダー断面積（例、上肢）と動きの少ないが大きなRCS領域（胴体など）の補足情報を持つ強度とドップラー点群を生成するために提案されています。
）。
軽量ニューラル ネットワークは、上半身のグローバルとローカルの両方の特徴を抽出し、スキン付きマルチパーソン線形 (SMPL) モデルのポーズ パラメーターを出力します。
複数の被験者からのさまざまな動作シーケンスに関する広範な 1 人の被験者を除外した実験により、SUPER が最先端のベースライン手法よりも 30 ～ 184% 優れていることが示されました。
また、手とオブジェクトのインタラクションのための単純な下流タスクにおけるその有用性も実証します。

要約(オリジナル)

In industrial countries, adults spend a considerable amount of time sedentary each day at work, driving and during activities of daily living. Characterizing the seated upper body human poses using mmWave radars is an important, yet under-studied topic with many applications in human-machine interaction, transportation and road safety. In this work, we devise SUPER, a framework for seated upper body human pose estimation that utilizes dual-mmWave radars in close proximity. A novel masking algorithm is proposed to coherently fuse data from the radars to generate intensity and Doppler point clouds with complementary information for high-motion but small radar cross section areas (e.g., upper extremities) and low-motion but large RCS areas (e.g. torso). A lightweight neural network extracts both global and local features of upper body and output pose parameters for the Skinned Multi-Person Linear (SMPL) model. Extensive leave-one-subject-out experiments on various motion sequences from multiple subjects show that SUPER outperforms a state-of-the-art baseline method by 30 — 184%. We also demonstrate its utility in a simple downstream task for hand-object interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google