PointHPS: Cascaded 3D Human Pose and Shape Estimation from Point Clouds

要約

人間の姿勢と形状の推定 (HPS) は、近年ますます注目を集めています。
既存の研究のほとんどは、固有の深さの曖昧さを伴う 2D 画像またはビデオからの HPS に焦点を当てていますが、深度センサーが商用デバイスで頻繁に採用されているため、3D 点群からの HPS を調査する必要性が急増しています。
ただし、現実世界の感覚的な 3D ポイントは通常、ノイズが多く不完全であり、人体は多様性の高いさまざまなポーズを取る可能性があります。
これらの課題に取り組むために、私たちは、現実世界の設定でキャプチャされた点群からの正確な 3D HPS のための原則に基づいたフレームワーク PointHPS を提案します。これは、カスケード アーキテクチャを通じて点の特徴を反復的に改良します。
具体的には、PointHPS の各ステージは、一連のダウンサンプリングおよびアップサンプリング操作を実行して、ローカルとグローバルの両方のキューを抽出および照合します。これらのキューは、次の 2 つの新しいモジュールによってさらに強化されます。 1) マルチスケールの特徴伝播のためのクロスステージ特徴融合 (CFF)
情報が各ステージを効率的に流れることができるようになります。2) 身体認識機能集約のための中間機能拡張 (IFE) により、各ステージ後の機能品質が向上します。
さまざまなシナリオでの包括的な研究を促進するために、私たちは 2 つの大規模なベンチマークで実験を実施します。そのベンチマークは、i) 実験室環境で実際の商用センサーによって捕捉された多様な対象と行動を特徴とするデータセット、および ii) 現実的な方法で生成された制御された合成データで構成されます。
混雑した屋外シーンにおける衣服を着た人間などの考慮事項。
広範な実験により、強力な点特徴抽出および処理スキームを備えた PointHPS が、最先端の手法を全面的に大幅に上回るパフォーマンスを発揮することが実証されました。
ホームページ: https://caizhongang.github.io/projects/PointHPS/。

要約(オリジナル)

Human pose and shape estimation (HPS) has attracted increasing attention in recent years. While most existing studies focus on HPS from 2D images or videos with inherent depth ambiguity, there are surging need to investigate HPS from 3D point clouds as depth sensors have been frequently employed in commercial devices. However, real-world sensory 3D points are usually noisy and incomplete, and also human bodies could have different poses of high diversity. To tackle these challenges, we propose a principled framework, PointHPS, for accurate 3D HPS from point clouds captured in real-world settings, which iteratively refines point features through a cascaded architecture. Specifically, each stage of PointHPS performs a series of downsampling and upsampling operations to extract and collate both local and global cues, which are further enhanced by two novel modules: 1) Cross-stage Feature Fusion (CFF) for multi-scale feature propagation that allows information to flow effectively through the stages, and 2) Intermediate Feature Enhancement (IFE) for body-aware feature aggregation that improves feature quality after each stage. To facilitate a comprehensive study under various scenarios, we conduct our experiments on two large-scale benchmarks, comprising i) a dataset that features diverse subjects and actions captured by real commercial sensors in a laboratory environment, and ii) controlled synthetic data generated with realistic considerations such as clothed humans in crowded outdoor scenes. Extensive experiments demonstrate that PointHPS, with its powerful point feature extraction and processing scheme, outperforms State-of-the-Art methods by significant margins across the board. Homepage: https://caizhongang.github.io/projects/PointHPS/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google