Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps

要約

我々は、2D 法線マップによる弱い監視を使用して、服を着た人間の 3D 再構築に対する新しい深層学習ベースのアプローチを紹介します。
単一の RGB 画像またはマルチビュー画像が与えられると、私たちのネットワークは、安静姿勢の身体を囲む四面体メッシュ上で離散化された符号付き距離関数 (SDF) を推論します。
その後、推定されたポーズとカメラのパラメーターを使用して、SDF から法線マップが生成されます。
私たちのアプローチの重要な側面は、Marching Tetrahedra を使用して、四面体メッシュ上の SDF から三角形化された曲面を (一意に) 計算し、直接的な微分 (したがって逆伝播) を容易にすることです。
したがって、グラウンド トゥルース法線マップのみ (体積情報のグラウンド トゥルース情報なし) が与えられると、対応する RGB イメージから SDF 値を生成するようにネットワークをトレーニングできます。
オプションで、追加のマルチビュー損失により結果が改善されます。
ネットワーク推論と 3D 再構成の両方に対するアプローチの有効性を実証します。

要約(オリジナル)

We present a novel deep learning-based approach to the 3D reconstruction of clothed humans using weak supervision via 2D normal maps. Given a single RGB image or multiview images, our network infers a signed distance function (SDF) discretized on a tetrahedral mesh surrounding the body in a rest pose. Subsequently, inferred pose and camera parameters are used to generate a normal map from the SDF. A key aspect of our approach is the use of Marching Tetrahedra to (uniquely) compute a triangulated surface from the SDF on the tetrahedral mesh, facilitating straightforward differentiation (and thus backpropagation). Thus, given only ground truth normal maps (with no volumetric information ground truth information), we can train the network to produce SDF values from corresponding RGB images. Optionally, an additional multiview loss leads to improved results. We demonstrate the efficacy of our approach for both network inference and 3D reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google