Robust Human Registration with Body Part Segmentation on Noisy Point Clouds

要約

人間のメッシュを3D点群に登録することは、拡張現実や人間とロボットのインタラクションなどのアプリケーションに不可欠であるが、実世界のデータにはノイズや背景の乱れがあるため、しばしば不正確な結果が得られる。我々は、ボディパーツのセグメンテーションをメッシュフィッティングプロセスに組み込むハイブリッドアプローチを導入し、人間のポーズ推定とセグメンテーション精度の両方を向上させる。本手法は、まず個々の点にボディパーツラベルを割り当て、次に2段階のSMPL-Xフィッティングをガイドする：ボディパーツのセントロイドを用いた最初のポーズと姿勢の推定と、それに続く点群のアライメントの大域的な精密化である。さらに、フィッティングされた人体メッシュが、身体部位のラベルを洗練し、セグメンテーションの改善につながることを示す。乱雑でノイズの多い実世界のデータセットInterCap、EgoBody、BEHAVEで評価した結果、我々のアプローチは、ポーズ推定とセグメンテーションの精度の両方において、先行手法を大幅に上回ることが示された。コードと結果はプロジェクトのウェブサイトhttps://segfit.github.io。

要約(オリジナル)

Registering human meshes to 3D point clouds is essential for applications such as augmented reality and human-robot interaction but often yields imprecise results due to noise and background clutter in real-world data. We introduce a hybrid approach that incorporates body-part segmentation into the mesh fitting process, enhancing both human pose estimation and segmentation accuracy. Our method first assigns body part labels to individual points, which then guide a two-step SMPL-X fitting: initial pose and orientation estimation using body part centroids, followed by global refinement of the point cloud alignment. Additionally, we demonstrate that the fitted human mesh can refine body part labels, leading to improved segmentation. Evaluations on the cluttered and noisy real-world datasets InterCap, EgoBody, and BEHAVE show that our approach significantly outperforms prior methods in both pose estimation and segmentation accuracy. Code and results are available on our project website: https://segfit.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL