Diff-Font: Diffusion Model for Robust One-Shot Font Generation

要約

タイトル：Diff-Font：堅牢な一発フォント生成のための拡散モデル

要約：

– 字形が複雑な表意文字を使用する言語、例えば中国語において、フォント生成は困難で時間がかかる作業である。
– この問題を解決するために、少数派フォント生成や一発フォント生成が注目されているが、既存のフォント生成手法は大きなクロスフォントのギャップ課題、微細なクロスフォントの変動問題、複雑な文字の不正確な生成などの問題が残っている。
– 本論文では、大規模なデータセットで安定的に訓練できる拡散モデルに基づく新しい一発フォント生成手法Diff-Fontを提案する。
– 提案されたモデルは、参照として1つのサンプルを与えることで、フォントライブラリ全体を生成することを目的としている。
– 具体的には、大規模なストロークごとのデータセットが構築され、ストロークごとの拡散モデルが提案され、それぞれの生成された文字の構造と完成を保存するようになっている。
– 従来のフォント生成手法と比較して、Diff-Fontはフォントギャップやフォント変動に堅牢であり、困難な文字の生成でも良好な性能を発揮することができる。
– 提案されたDiff-Fontは、フォント生成タスクを処理するために拡散モデルを開発した最初の研究である。また、予備的な実験において、既存のフォント生成手法よりも定性的、定量的に優れた性能を発揮している。

要約(オリジナル)

Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI