PartCraft: Crafting Creative Objects by Parts

要約

本稿では、ユーザーが「選択」することを可能にすることで、生成的視覚AIにおける創造的制御を推進する。従来のテキストやスケッチベースの手法から離れ、我々は初めて、ユーザーが創造的な努力のために視覚的概念を部分的に選択できるようにした。その結果、選択された視覚的概念を正確に捉え、全体的に忠実でもっともらしい結果を保証する、きめ細かな生成が可能となる。これを実現するために、我々はまず、教師なし特徴クラスタリングによってオブジェクトをパーツに解析する。次に、パーツをテキストトークンに符号化し、それらに作用するエントロピーベースの正規化注意損失を導入する。この損失設計により、我々のモデルはオブジェクトのパーツ構成に関する一般的な事前トポロジー知識を学習し、さらに新しいパーツ構成に汎化することで、生成が全体的に忠実に見えることを保証する。最後に、部品トークンを投影するためにボトルネックエンコーダを採用する。これは、忠実性を高めるだけでなく、共有知識を活用し、インスタンス間の情報交換を容易にすることで、学習を加速する。論文と補足資料の視覚的な結果は、「チャーミング」で創造的な鳥に代表される、高度にカスタマイズされた革新的な作品を作り上げるPartCraftの説得力を示しています。コードはhttps://github.com/kamwoh/partcraft。

要約(オリジナル)

This paper propels creative control in generative visual AI by allowing users to ‘select’. Departing from traditional text or sketch-based methods, we for the first time allow users to choose visual concepts by parts for their creative endeavors. The outcome is fine-grained generation that precisely captures selected visual concepts, ensuring a holistically faithful and plausible result. To achieve this, we first parse objects into parts through unsupervised feature clustering. Then, we encode parts into text tokens and introduce an entropy-based normalized attention loss that operates on them. This loss design enables our model to learn generic prior topology knowledge about object’s part composition, and further generalize to novel part compositions to ensure the generation looks holistically faithful. Lastly, we employ a bottleneck encoder to project the part tokens. This not only enhances fidelity but also accelerates learning, by leveraging shared knowledge and facilitating information exchange among instances. Visual results in the paper and supplementary material showcase the compelling power of PartCraft in crafting highly customized, innovative creations, exemplified by the ‘charming’ and creative birds. Code is released at https://github.com/kamwoh/partcraft.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL