Diff-Font: Diffusion Model for Robust One-Shot Font Generation

要約

フォントの生成は困難で時間のかかる作業であり、特に中国語など、多数の文字を含む複雑な構造を持つ表意文字を使用する言語では顕著です。
この問題を解決するために、数ショットフォント生成、さらにはワンショットフォント生成が多くの注目を集めています。
ただし、ほとんどの既存のフォント生成方法は、(i) 大きなクロス フォント ギャップの問題に悩まされる可能性があります。
(ii) 微妙なクロス フォント バリエーションの問題。
(iii) 複雑な文字の誤った生成。
この論文では、大規模なデータセットで安定してトレーニングできる、Diff-Font という名前の拡散モデルに基づく新しいワンショット フォント生成方法を提案します。
提案されたモデルは、参照として 1 つのサンプルのみを与えることによってフォント ライブラリ全体を生成することを目的としています。
具体的には、大規模なストローク単位のデータセットが構築され、ストローク単位の拡散モデルが提案され、生成された各文字の構造と完成が維持されます。
私たちの知る限り、提案された Diff-Font は、フォント生成タスクを処理する拡散モデルを開発した最初の作品です。
十分にトレーニングされた Diff-Font は、フォントのギャップやフォントのバリエーションに対して堅牢であるだけでなく、困難な文字生成でも有望なパフォーマンスを達成しました。
以前のフォント生成方法と比較して、私たちのモデルは質的にも量的にも最先端のパフォーマンスに達しています。

要約(オリジナル)

Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google