Text-guided 3D Human Generation from 2D Collections

要約

3D ヒューマン モデリングは、ゲーム、映画、アニメーションにおける魅力的なインタラクションに広く使用されています。
これらのキャラクターのカスタマイズは創造性と拡張性にとって非常に重要であり、制御性の重要性が強調されます。
この作業では、テキストガイドによる 3D 人間の生成 (\texttt{T3H}) を導入します。この機能では、モデルがファッションの説明に基づいて 3D 人間を生成します。
目標は 2 つあります。1) 3D 人間が明確にレンダリングされること、2) その服装が指定されたテキストによって制御されることです。
この \texttt{T3H} タスクに対処するために、私たちはコンポジション クロスモーダル ヒューマン (CCH) を提案します。
CCH は、クロスモーダルな注意を採用して、人間の構成的なレンダリングと抽出されたファッションのセマンティクスを融合します。
人間の体の各部分は、関連するテキストのガイダンスを視覚的なパターンとして認識します。
人間の事前識別と意味論的識別を組み込んで 3D ジオメトリ変換ときめ細かい一貫性を強化し、データ効率を高めるために 2D コレクションから学習できるようにします。
DeepFashionとSHHQの上下服の形状、生地、色など多様なファッション属性を評価します。
広範な実験により、CCH が \texttt{T3H} に対して高効率で優れた結果を達成することが実証されました。

要約(オリジナル)

3D human modeling has been widely used for engaging interaction in gaming, film, and animation. The customization of these characters is crucial for creativity and scalability, which highlights the importance of controllability. In this work, we introduce Text-guided 3D Human Generation (\texttt{T3H}), where a model is to generate a 3D human, guided by the fashion description. There are two goals: 1) the 3D human should render articulately, and 2) its outfit is controlled by the given text. To address this \texttt{T3H} task, we propose Compositional Cross-modal Human (CCH). CCH adopts cross-modal attention to fuse compositional human rendering with the extracted fashion semantics. Each human body part perceives relevant textual guidance as its visual patterns. We incorporate the human prior and semantic discrimination to enhance 3D geometry transformation and fine-grained consistency, enabling it to learn from 2D collections for data efficiency. We conduct evaluations on DeepFashion and SHHQ with diverse fashion attributes covering the shape, fabric, and color of upper and lower clothing. Extensive experiments demonstrate that CCH achieves superior results for \texttt{T3H} with high efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google