Calliffusion: Chinese Calligraphy Generation and Style Transfer with Diffusion Modeling

要約

本稿では、拡散モデルを用いて高品質な書道を生成するシステムCalliffusionを提案する。
私たちのモデル アーキテクチャは DDPM (ノイズ除去拡散確率モデル) に基づいており、5 つの異なるスクリプトで共通の文字を生成し、有名な書家のスタイルを模倣することができます。
実験では、私たちのモデルが実際のアートワークと区別するのが難しいカリグラフィーを生成できること、および文字、スクリプト、スタイルの制御が効果的であることを実証しています。
さらに、LoRA (低ランク適応) を使用して、中国の書道の芸術スタイルを目に見えない文字、さらには英語の文字や数字などのドメイン外の記号に転送する、ワンショットの転移学習を実証します。

要約(オリジナル)

In this paper, we propose Calliffusion, a system for generating high-quality Chinese calligraphy using diffusion models. Our model architecture is based on DDPM (Denoising Diffusion Probabilistic Models), and it is capable of generating common characters in five different scripts and mimicking the styles of famous calligraphers. Experiments demonstrate that our model can generate calligraphy that is difficult to distinguish from real artworks and that our controls for characters, scripts, and styles are effective. Moreover, we demonstrate one-shot transfer learning, using LoRA (Low-Rank Adaptation) to transfer Chinese calligraphy art styles to unseen characters and even out-of-domain symbols such as English letters and digits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google