Design2GarmentCode: Turning Design Concepts to Tangible Garments Through Program Synthesis

要約

生地の裁断と仕立てに不可欠な青写真である縫製パターンは、デザインコンセプトと生産可能な衣服の間の重要な架け橋として機能します。
しかし、既存のユニモーダル縫製パターン生成モデルは、マルチモーダルな性質を持つ複雑なデザインコンセプトを効果的にエンコードし、それらを正確な幾何学的構造と複雑な縫製関係を持つベクトル化された縫製パターンと関連付けることに苦労しています。
この研究では、マルチモーダル設計概念からパラメトリック パターン作成プログラムを生成する、ラージ マルチモーダル モデル (LMM) に基づく新しい縫製パターン生成アプローチ Design2GarmentCode を提案します。
LMM は、多様なデザイン入力を解釈するための直感的なインターフェイスを提供します。一方、パターン作成プログラムは、縫製パターンの適切に構造化された意味的に意味のある表現として機能し、LMM に埋め込まれたクロスドメインのパターン作成知識とベクトル化された知識を接続する堅牢な橋渡し役として機能します。
縫製パターン。
実験結果は、本手法が画像、テキスト記述、デザイナースケッチ、またはそれらの組み合わせなどのさまざまな複雑なデザイン表現を柔軟に処理し、正確なステッチを備えたサイズ精度の縫製パターンに変換できることを示しています。
以前の方法と比較して、私たちのアプローチはトレーニング効率、生成品質、およびオーサリングの柔軟性を大幅に向上させます。
私たちのコードとデータは一般に公開されます。

要約(オリジナル)

Sewing patterns, the essential blueprints for fabric cutting and tailoring, act as a crucial bridge between design concepts and producible garments. However, existing uni-modal sewing pattern generation models struggle to effectively encode complex design concepts with a multi-modal nature and correlate them with vectorized sewing patterns that possess precise geometric structures and intricate sewing relations. In this work, we propose a novel sewing pattern generation approach Design2GarmentCode based on Large Multimodal Models (LMMs), to generate parametric pattern-making programs from multi-modal design concepts. LMM offers an intuitive interface for interpreting diverse design inputs, while pattern-making programs could serve as well-structured and semantically meaningful representations of sewing patterns, and act as a robust bridge connecting the cross-domain pattern-making knowledge embedded in LMMs with vectorized sewing patterns. Experimental results demonstrate that our method can flexibly handle various complex design expressions such as images, textual descriptions, designer sketches, or their combinations, and convert them into size-precise sewing patterns with correct stitches. Compared to previous methods, our approach significantly enhances training efficiency, generation quality, and authoring flexibility. Our code and data will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google