REC-MV: REconstructing 3D Dynamic Cloth from Monocular Videos

要約

単眼ビデオから開いた境界を持つ動的な 3D 衣服表面を再構成することは、衣服のデジタル化に実用的で低コストのソリューションを提供するため、重要な問題です。
最近のニューラル レンダリング手法では、単眼ビデオから高品質で動的な衣服を着た人間の再構成結果が得られますが、これらの手法では衣服の表面を身体から分離することはできません。
さらに、特徴曲線表現に基づく既存の衣服再構成方法は、単一の画像から衣服を再構成する優れた結果を示しているにもかかわらず、ビデオ入力に対して時間的に一貫した表面を生成するのに苦労しています。
上記の制限に対処するために、この論文では、このタスクを 3D 衣服の特徴曲線と単眼ビデオからの表面再構成の最適化問題として定式化します。
衣服の明示的な特徴曲線と暗黙的な符号付き距離フィールド (SDF) を共同で最適化する、REC-MV と呼ばれる新しいアプローチを導入します。
次に、標準空間でのガーメント テンプレートの登録を介して、オープン ガーメント メッシュを抽出できます。
何気なく取得した複数のデータセットでの実験により、私たちのアプローチが既存の方法よりも優れたパフォーマンスを発揮し、高品質で動的な衣服の表面を生成できることがわかりました。
ソース コードは https://github.com/GAP-LAB-CUHK-SZ/REC-MV で入手できます。

要約(オリジナル)

Reconstructing dynamic 3D garment surfaces with open boundaries from monocular videos is an important problem as it provides a practical and low-cost solution for clothes digitization. Recent neural rendering methods achieve high-quality dynamic clothed human reconstruction results from monocular video, but these methods cannot separate the garment surface from the body. Moreover, despite existing garment reconstruction methods based on feature curve representation demonstrating impressive results for garment reconstruction from a single image, they struggle to generate temporally consistent surfaces for the video input. To address the above limitations, in this paper, we formulate this task as an optimization problem of 3D garment feature curves and surface reconstruction from monocular video. We introduce a novel approach, called REC-MV, to jointly optimize the explicit feature curves and the implicit signed distance field (SDF) of the garments. Then the open garment meshes can be extracted via garment template registration in the canonical space. Experiments on multiple casually captured datasets show that our approach outperforms existing methods and can produce high-quality dynamic garment surfaces. The source code is available at https://github.com/GAP-LAB-CUHK-SZ/REC-MV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google