Human Pose-Constrained UV Map Estimation

要約

UV マップ推定は、コンピューター ビジョンで人間の姿勢や活動を詳細に分析するために使用されます。
以前の方法では、UV マップにおけるグローバルな一貫性や妥当性を強制することなく、ピクセル記述子を個別に比較することによって、ピクセルをボディ モデルの頂点に割り当てていました。
我々は、推定された 2D 人間の姿勢をピクセルから頂点への割り当てプロセスに統合する、ポーズ制約付き連続曲面埋め込み (PC-CSE) を提案します。
ポーズはグローバルな解剖学的制約を提供し、局所的な精度を維持しながら UV マップの一貫性を確保します。
DensePose COCO の評価では、選択した 2D 人間のポーズ モデルに関係なく、一貫した改善が実証されました。
全身ポーズでは、手と足に関する追加の詳細を組み込むことで、より適切な拘束が提供されます。
人間のポーズで UV マップを調整すると、無効なマッピングが減り、解剖学的に妥当性が高まります。
さらに、グラウンドトゥルースの注釈の不一致を強調します。

要約(オリジナル)

UV map estimation is used in computer vision for detailed analysis of human posture or activity. Previous methods assign pixels to body model vertices by comparing pixel descriptors independently, without enforcing global coherence or plausibility in the UV map. We propose Pose-Constrained Continuous Surface Embeddings (PC-CSE), which integrates estimated 2D human pose into the pixel-to-vertex assignment process. The pose provides global anatomical constraints, ensuring that UV maps remain coherent while preserving local precision. Evaluation on DensePose COCO demonstrates consistent improvement, regardless of the chosen 2D human pose model. Whole-body poses offer better constraints by incorporating additional details about the hands and feet. Conditioning UV maps with human pose reduces invalid mappings and enhances anatomical plausibility. In addition, we highlight inconsistencies in the ground-truth annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google