LiDAR-HMR: 3D Human Mesh Recovery from LiDAR

要約

近年、点群認識タスクがますます注目を集めています。
この論文では、まばらな LiDAR 点群から 3D 人体メッシュを推定する最初の試みを紹介します。
点群から人間の姿勢とメッシュを推定する際の主な課題は、LiDAR 点群のまばらさ、ノイズ、不完全さにあることがわかりました。
これらの課題に直面して、私たちは 3D ヒューマン メッシュを再構築するための効果的な疎から密への再構築スキームを提案します。
これには、人間のまばらな表現 (3D 人間のポーズ) を推定し、ボディ メッシュを段階的に再構築することが含まれます。
点群の 3D 構造情報をより有効に活用するために、カスケード グラフ トランスフォーマ (グラフォーマ) を使用して、疎から密への再構成中に点群の特徴を導入します。
3 つの公的に利用可能なデータベースに関する実験結果は、提案されたアプローチの有効性を示しています。
コード: https://github.com/soullessrobot/LiDAR-HMR/

要約(オリジナル)

In recent years, point cloud perception tasks have been garnering increasing attention. This paper presents the first attempt to estimate 3D human body mesh from sparse LiDAR point clouds. We found that the major challenge in estimating human pose and mesh from point clouds lies in the sparsity, noise, and incompletion of LiDAR point clouds. Facing these challenges, we propose an effective sparse-to-dense reconstruction scheme to reconstruct 3D human mesh. This involves estimating a sparse representation of a human (3D human pose) and gradually reconstructing the body mesh. To better leverage the 3D structural information of point clouds, we employ a cascaded graph transformer (graphormer) to introduce point cloud features during sparse-to-dense reconstruction. Experimental results on three publicly available databases demonstrate the effectiveness of the proposed approach. Code: https://github.com/soullessrobot/LiDAR-HMR/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google