PartCraft: Crafting Creative Objects by Parts

要約

この論文は、ユーザーが「選択」できるようにすることで、生成的ビジュアル AI におけるクリエイティブな制御を推進します。
従来のテキストやスケッチベースの方法から脱却し、ユーザーが創造的な取り組みのために部分ごとにビジュアルコンセプトを選択できるようにしました。
その結果、選択されたビジュアルコンセプトを正確に捕捉したきめ細かい生成が行われ、全体的に忠実で妥当な結果が保証されます。
これを達成するために、まず教師なし特徴クラスタリングを通じてオブジェクトをパーツに解析します。
次に、パーツをテキスト トークンにエンコードし、それらに作用するエントロピー ベースの正規化された注意喪失を導入します。
この損失設計により、モデルはオブジェクトのパーツ構成に関する一般的な事前トポロジー知識を学習し、さらに新しいパーツ構成に一般化して、生成が全体的に忠実に見えるようにすることができます。
最後に、ボトルネック エンコーダーを使用してパーツ トークンを投影します。
これにより、忠実度が向上するだけでなく、共有された知識を活用し、インスタンス間の情報交換が容易になるため、学習が加速されます。
論文と補足資料の視覚的な結果は、「魅力的」で創造的な鳥に代表される、高度にカスタマイズされた革新的な作品を作成する際の PartCraft の説得力を示しています。
コードは https://github.com/kamwoh/partcraft で公開されています。

要約(オリジナル)

This paper propels creative control in generative visual AI by allowing users to ‘select’. Departing from traditional text or sketch-based methods, we for the first time allow users to choose visual concepts by parts for their creative endeavors. The outcome is fine-grained generation that precisely captures selected visual concepts, ensuring a holistically faithful and plausible result. To achieve this, we first parse objects into parts through unsupervised feature clustering. Then, we encode parts into text tokens and introduce an entropy-based normalized attention loss that operates on them. This loss design enables our model to learn generic prior topology knowledge about object’s part composition, and further generalize to novel part compositions to ensure the generation looks holistically faithful. Lastly, we employ a bottleneck encoder to project the part tokens. This not only enhances fidelity but also accelerates learning, by leveraging shared knowledge and facilitating information exchange among instances. Visual results in the paper and supplementary material showcase the compelling power of PartCraft in crafting highly customized, innovative creations, exemplified by the ‘charming’ and creative birds. Code is released at https://github.com/kamwoh/partcraft.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google