GenHPE: Generative Counterfactuals for 3D Human Pose Estimation with Radio Frequency Signals

要約

人間のポーズ推定（HPE）は、さまざまな用途の人体関節の位置を検出します。
カメラの使用と比較して、無線周波数（RF）信号を使用したHPEは邪魔にならず、悪影響に対してより堅牢であり、人間の干渉によって引き起こされる信号の変動を活用します。
ただし、既存の研究は、ドメイン固有の交絡因子に限定された単一ドメインHPEに焦点を当てており、新しいドメインに一般化することができず、HPEパフォーマンスが低下します。
具体的には、異なる人体の部分によって引き起こされる信号の変動は、被験者固有の交絡因子を含む絡み合っています。
RF信号は、環境固有の交絡因子を含む環境ノイズとも絡み合っています。
この論文では、ドメイン固有の交絡因子を排除するために反事実的なRF信号を生成する3D HPEアプローチであるGenhpeを提案します。
Genhpeは、人間の骨格ラベルに条件付けられた生成モデルを訓練し、人体の部分と交絡因子がRFシグナルをどのように妨害するかを学びます。
スケルトンラベルを操作し（つまり、身体の部分を除去する）、生成モデルの反事実的条件として、反事実的なRF信号を合成します。
反事実的信号の違いは、ドメイン固有の交絡因子をほぼ排除し、エンコーダデコーダーモデルを正規化してドメインに依存しない表現を学習します。
このような表現は、genhpeがクロスドメイン3D HPEの新しい被験者/環境に一般化するのに役立ちます。
WiFi、超幅、ミリ波の3つのパブリックデータセットでGenhpeを評価します。
実験結果は、Genhpeが最先端の方法よりも優れており、クロスサブジェクトHPEで最大52.2mm、環境横断HPEで10.6mmを最大52.2mm減らすことを示しています。

要約(オリジナル)

Human pose estimation (HPE) detects the positions of human body joints for various applications. Compared to using cameras, HPE using radio frequency (RF) signals is non-intrusive and more robust to adverse conditions, exploiting the signal variations caused by human interference. However, existing studies focus on single-domain HPE confined by domain-specific confounders, which cannot generalize to new domains and result in diminished HPE performance. Specifically, the signal variations caused by different human body parts are entangled, containing subject-specific confounders. RF signals are also intertwined with environmental noise, involving environment-specific confounders. In this paper, we propose GenHPE, a 3D HPE approach that generates counterfactual RF signals to eliminate domain-specific confounders. GenHPE trains generative models conditioned on human skeleton labels, learning how human body parts and confounders interfere with RF signals. We manipulate skeleton labels (i.e., removing body parts) as counterfactual conditions for generative models to synthesize counterfactual RF signals. The differences between counterfactual signals approximately eliminate domain-specific confounders and regularize an encoder-decoder model to learn domain-independent representations. Such representations help GenHPE generalize to new subjects/environments for cross-domain 3D HPE. We evaluate GenHPE on three public datasets from WiFi, ultra-wideband, and millimeter wave. Experimental results show that GenHPE outperforms state-of-the-art methods and reduces estimation errors by up to 52.2mm for cross-subject HPE and 10.6mm for cross-environment HPE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google