Free-form Generation Enhances Challenging Clothed Human Modeling

要約

リアルなアニメーション人間アバターを実現するには、ポーズに依存する衣服の変形を正確にモデリングする必要があります。
既存の学習ベースの手法は、変形をモデル化するために SMPL のような最小限の衣服を着た人間モデルのリニア ブレンド スキニング (LBS) に大きく依存しています。
ただし、これらの方法では、ロング ドレスなどの緩い衣服の処理が困難であり、衣服が体から遠く離れている場合、正規化プロセスが不明確になり、結果がバラバラで断片化されてしまいます。
この制限を克服するために、私たちは、挑戦的な服を着た人間をモデル化するための新しいハイブリッド フレームワークを提案します。
私たちの中心的なアイデアは、身体に近いか遠いかに応じて、専用の戦略を使用してさまざまな領域をモデル化することです。
具体的には、人体を「脱衣」、「変形」、「生成」の 3 つのカテゴリに分類します。
変形を必要としない、服を着ていない領域を複製するだけです。
身体に近い変形領域については、LBS を利用して変形を処理します。
ゆるい衣服の領域に対応する生成領域については、動きの影響が少ないため、新しい自由形式の部分認識ジェネレーターを導入してモデル化します。
このフリーフォーム生成パラダイムは、ハイブリッド フレームワークに柔軟性と表現力の向上をもたらし、スカートやドレスなどの難しいゆったりとした衣服の複雑な幾何学的ディテールをキャプチャできるようにします。
ゆったりした衣服を特徴とするベンチマーク データセットの実験結果は、特に最も困難なケースにおいて、私たちの手法が優れた視覚的忠実性とリアリズムを備えた最先端のパフォーマンスを達成していることを示しています。

要約(オリジナル)

Achieving realistic animated human avatars requires accurate modeling of pose-dependent clothing deformations. Existing learning-based methods heavily rely on the Linear Blend Skinning (LBS) of minimally-clothed human models like SMPL to model deformation. However, these methods struggle to handle loose clothing, such as long dresses, where the canonicalization process becomes ill-defined when the clothing is far from the body, leading to disjointed and fragmented results. To overcome this limitation, we propose a novel hybrid framework to model challenging clothed humans. Our core idea is to use dedicated strategies to model different regions, depending on whether they are close to or distant from the body. Specifically, we segment the human body into three categories: unclothed, deformed, and generated. We simply replicate unclothed regions that require no deformation. For deformed regions close to the body, we leverage LBS to handle the deformation. As for the generated regions, which correspond to loose clothing areas, we introduce a novel free-form, part-aware generator to model them, as they are less affected by movements. This free-form generation paradigm brings enhanced flexibility and expressiveness to our hybrid framework, enabling it to capture the intricate geometric details of challenging loose clothing, such as skirts and dresses. Experimental results on the benchmark dataset featuring loose clothing demonstrate that our method achieves state-of-the-art performance with superior visual fidelity and realism, particularly in the most challenging cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google