ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

要約

ボディを3D服を着た人間のポイントクラウドに取り付けることは、一般的でありながら挑戦的な作業です。
従来の最適化ベースのアプローチでは、初期化に敏感なマルチステージパイプラインを使用しますが、最近の学習ベースの方法は、多様なポーズや衣服の種類の一般化に苦労することがよくあります。
衣服を着た人間、またはエッチングを提案することを提案します。エッチングは、地域の近似SE（3）等量を介して布と体の表面マッピングを推定する新しいパイプラインであり、布から下にある体への変位ベクターとしての緊張をコードすることを提案します。
このマッピングに続いて、ポーズ不変のボディは、スパースボディマーカーを退行させ、衣服を着た人間のフィッティングを内部のマーカーフィッティングタスクに単純化します。
ケープと4Dドレスに関する広範な実験は、エッチングがゆるい衣服（16.7％〜69.5％）と形状の精度（平均49.9％）のボディフィッティング精度の最先端の方法（タイトネスとタイトネスの両方の両方）を大幅に上回ることを示しています。
当社の当社の等量性のタイトネス設計では、ワンショット（または分散型）設定で方向性エラーを（67.2％〜89.8％）減らすことさえできます。
定性的な結果は、挑戦的なポーズ、目に見えない形、ゆるい衣服、非剛性のダイナミクスに関係なく、エッチングの強力な一般化を示しています。
https://boqian-li.github.io/etch/で研究目的でコードとモデルをすぐにリリースします。

要約(オリジナル)

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods — both tightness-agnostic and tightness-aware — in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google