S2TD-Face: Reconstruct a Detailed 3D Face with Controllable Texture from a Single Sketch

要約

アニメーション、3Dアバター、芸術的デザイン、行方不明者の捜索など、多くのシナリオに適用可能なスケッチからの3Dテクスチャ顔再構成は、非常に有望であるが未開発の研究テーマである。一方では、スケッチのスタイルの多様性により、既存のスケッチから3D顔への手法は、ポーズが限定され、現実的な陰影のあるスケッチしか扱うことができません。一方、テクスチャは顔の外観を表現する上で重要な役割を果たすが、スケッチにはこの情報がないため、再構成プロセスにおいてテクスチャを追加制御する必要がある。本論文では、制御可能なテクスチャと詳細な3D顔をスケッチから再構成する新しい手法を提案し、S2TD-Faceと名付ける。S2TD-Faceは、入力スケッチから詳細な形状を直接再構成する2段階の形状再構成フレームワークを導入する。スケッチの繊細なストロークとジオメトリの一貫性を保つために、我々は、再構成がくぼみやしわのような入力特徴に正確に適合することを保証する、新しいスケッチからジオメトリへの損失を提案する。我々の学習戦略は、入手困難な3D顔スキャニングデータや、手間のかかる手描きスケッチに依存しない。さらに、S2TD-Faceは、テキストプロンプトを利用したテクスチャ制御モジュールを導入し、ライブラリから最適なテクスチャを選択し、形状にシームレスに統合することで、制御可能なテクスチャを持つ3D詳細顔を実現します。S2TD-Faceは、広範な定量的・定性的実験において、既存の最先端手法を凌駕しています。私たちのプロジェクトは、 https://github.com/wang-zidu/S2TD-Face でご覧いただけます。

要約(オリジナル)

3D textured face reconstruction from sketches applicable in many scenarios such as animation, 3D avatars, artistic design, missing people search, etc., is a highly promising but underdeveloped research topic. On the one hand, the stylistic diversity of sketches leads to existing sketch-to-3D-face methods only being able to handle pose-limited and realistically shaded sketches. On the other hand, texture plays a vital role in representing facial appearance, yet sketches lack this information, necessitating additional texture control in the reconstruction process. This paper proposes a novel method for reconstructing controllable textured and detailed 3D faces from sketches, named S2TD-Face. S2TD-Face introduces a two-stage geometry reconstruction framework that directly reconstructs detailed geometry from the input sketch. To keep geometry consistent with the delicate strokes of the sketch, we propose a novel sketch-to-geometry loss that ensures the reconstruction accurately fits the input features like dimples and wrinkles. Our training strategies do not rely on hard-to-obtain 3D face scanning data or labor-intensive hand-drawn sketches. Furthermore, S2TD-Face introduces a texture control module utilizing text prompts to select the most suitable textures from a library and seamlessly integrate them into the geometry, resulting in a 3D detailed face with controllable texture. S2TD-Face surpasses existing state-of-the-art methods in extensive quantitative and qualitative experiments. Our project is available at https://github.com/wang-zidu/S2TD-Face .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL