PaCaNet: A Study on CycleGAN with Transfer Learning for Diversifying Fused Chinese Painting and Calligraphy

要約

AI 生成コンテンツ (AIGC) は、生産における高い効率性と一貫性、およびカスタマイズと多様化が可能な機能により、最近人気が急上昇しています。
ほとんどの AIGC テクノロジにおける表現学習メカニズムのクロスモダリティの性質により、これまで不可能だった新しいタイプのアートを探索する際の自由度と柔軟性が向上します。
漢字の象形文字サブセットに着想を得て、PaCaNet を提案しました。これは、伝統的な中国語の \emph{painting} と \emph{calligraphy} という 2 つの異なる芸術タイプを融合させた斬新なアートワークを作成するための CycleGAN ベースのパイプラインです。
安定した多様な出力を生成するために、次の 3 つの主要な技術革新を採用しました。
2.事前トレーニング済みモデルでランダムにサンプリングされたパラメーターを凍結することにより、生成された中国の書道に対する優先度を制御します。
3. 正則化手法を使用して、モデルが中国の絵画に似た画像を生成するようにします。
さらに、多様化する中国の絵画と書道の融合における PaCaNet のパフォーマンスを調査するための体系的な調査を実施し、満足のいく結果を示しました。
結論として、絵画の視覚情報と中国の書道の言語的特徴を融合することにより、クロスモーダルアートを作成する新しい方向性を提供します。
私たちのアプローチは、中国の象形文字の起源に根ざしたユニークな美的体験を生み出します。
また、伝統的な芸術作品をより深く掘り下げ、そうすることで、伝統的な遺産の保存と活性化に有意義な影響を与えるユニークな機会でもあります。

要約(オリジナル)

AI-Generated Content (AIGC) has recently gained a surge in popularity, powered by its high efficiency and consistency in production, and its capability of being customized and diversified. The cross-modality nature of the representation learning mechanism in most AIGC technology allows for more freedom and flexibility in exploring new types of art that would be impossible in the past. Inspired by the hieroglyph subset of Chinese characters, we proposed PaCaNet, a CycleGAN-based pipeline for producing novel artworks that fuse two different art types, traditional Chinese \emph{painting} and \emph{calligraphy}. In an effort to produce stable and diversified output, we adopted three main technical innovations: 1. Using one-shot learning to increase the creativity of pre-trained models and diversify the content of the fused images. 2. Controlling the preference over generated Chinese calligraphy by freezing randomly sampled parameters in pre-trained models. 3. Using a regularization method to encourage the models to produce images similar to Chinese paintings. Furthermore, we conducted a systematic study to explore the performance of PaCaNet in diversifying fused Chinese painting and calligraphy, which showed satisfying results. In conclusion, we provide a new direction of creating cross-modal art by fusing the visual information in paintings and the linguistic features in Chinese calligraphy. Our approach creates a unique aesthetic experience rooted in the origination of Chinese hieroglyph characters. It is also a unique opportunity to delve deeper into traditional artwork and, in doing so, to create a meaningful impact on preserving and revitalizing traditional heritage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google