3D Clothed Human Reconstruction in the Wild

要約

3Dの服を着た人間の再構成では多くの進歩が見られましたが、既存の方法のほとんどは、多様な人間のポーズや外観を含む野生の画像から堅牢な結果を生成できません。
これは主に、トレーニングデータセットと実際のデータセットの間のドメインギャップが大きいためです。
トレーニングデータセットは通常、合成データセットであり、GT3Dスキャンからレンダリングされた画像が含まれています。
ただし、このようなデータセットには、実際の野生のデータセットと比較して、単純な人間のポーズと自然な画像の外観が含まれていないため、野生の画像に一般化することは非常に困難です。
この問題を解決するために、この作業では、最初に野生の画像の堅牢性に対処する3Dの服を着た人間の再構成フレームワークであるClothWildを提案します。
まず、ドメインギャップに対する堅牢性のために、実際のデータセットの2D監視ターゲットでトレーニング可能な弱く監視されたパイプラインを提案します。
次に、弱い監視のあいまいさを減らすために、DensePoseベースの損失関数を設計します。
いくつかの公開されている野生のデータセットに対する広範な経験的テストは、提案されたClothWildが最先端の方法よりもはるかに正確で堅牢な結果を生成することを示しています。
コードはここで入手できます：https：//github.com/hygenie1228/ClothWild_RELEASE。

要約(オリジナル)

Although much progress has been made in 3D clothed human reconstruction, most of the existing methods fail to produce robust results from in-the-wild images, which contain diverse human poses and appearances. This is mainly due to the large domain gap between training datasets and in-the-wild datasets. The training datasets are usually synthetic ones, which contain rendered images from GT 3D scans. However, such datasets contain simple human poses and less natural image appearances compared to those of real in-the-wild datasets, which makes generalization of it to in-the-wild images extremely challenging. To resolve this issue, in this work, we propose ClothWild, a 3D clothed human reconstruction framework that firstly addresses the robustness on in-thewild images. First, for the robustness to the domain gap, we propose a weakly supervised pipeline that is trainable with 2D supervision targets of in-the-wild datasets. Second, we design a DensePose-based loss function to reduce ambiguities of the weak supervision. Extensive empirical tests on several public in-the-wild datasets demonstrate that our proposed ClothWild produces much more accurate and robust results than the state-of-the-art methods. The codes are available in here: https://github.com/hygenie1228/ClothWild_RELEASE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google