MeshPose: Unifying DensePose and 3D Body Mesh reconstruction

要約

DensePose は、画像と 3D メッシュ座標とのピクセル精度の関連付けを提供しますが、3D メッシュは提供しません。その一方で、ヒューマン メッシュ再構成 (HMR) システムは、DensePose ローカリゼーション メトリックによって測定されるように、2D 再投影誤差が高くなります。
この作業では、DensePose と HMR を共同で取り組むために MeshPose を導入します。
このために、最初に、弱い DensePose 監視を使用して、メッシュ頂点のサブセット (「VertexPose」) を 2D で正確に位置特定できるようにする新しい損失を導入します。
次に、これらの頂点を 3D に持ち上げて、低ポリボディ メッシュ (「MeshPose」) を生成します。
私たちのシステムはエンドツーエンドの方法でトレーニングされており、競争力のある DensePose 精度を達成する最初の HMR 手法であると同時に、軽量で効率的な推論に適しているため、リアルタイム AR アプリケーションに適しています。

要約(オリジナル)

DensePose provides a pixel-accurate association of images with 3D mesh coordinates, but does not provide a 3D mesh, while Human Mesh Reconstruction (HMR) systems have high 2D reprojection error, as measured by DensePose localization metrics. In this work we introduce MeshPose to jointly tackle DensePose and HMR. For this we first introduce new losses that allow us to use weak DensePose supervision to accurately localize in 2D a subset of the mesh vertices (‘VertexPose’). We then lift these vertices to 3D, yielding a low-poly body mesh (‘MeshPose’). Our system is trained in an end-to-end manner and is the first HMR method to attain competitive DensePose accuracy, while also being lightweight and amenable to efficient inference, making it suitable for real-time AR applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google