StylusAI: Stylistic Adaptation for Robust German Handwritten Text Generation

要約

この研究では、手書きスタイル生成の領域で拡散モデルを活用した新しいアーキテクチャである StylusAI を紹介します。
StylusAI は、ある言語の手書きの文体のニュアンスを別の言語に適応させて統合するように特別に設計されており、特に英語の手書きスタイルをドイツ語の書記体系のコンテキストにブレンドすることに重点を置いています。
このアプローチにより、ドイツ語のテキストを英語の手書きスタイルで生成したり、ドイツ語の手書きスタイルを英語に変換したりすることが可能になり、生成されたテキストが両方の言語で読みやすい状態を維持しながら、機械生成された手書きの多様性が強化されます。
StylusAI の開発と評価をサポートするために、ドイツ語内の 37 の異なる手書きスタイルを含む包括的なデータセットである \lq{Deutscher Handschriften-Datensatz}\rq~(DHSD) を紹介します。
このデータセットは、手書きテキスト生成の領域におけるトレーニングとベンチマークのための基本的なリソースを提供します。
私たちの結果は、StylusAI が手書きテキスト生成におけるスタイル適応のための新しい方法を導入するだけでなく、IAM データベースと新しく提案された DHSD でのパフォーマンスによって証明されるように、テキストの品質と文体の忠実度の両方を向上させる手書きサンプルの生成において既存のモデルを上回っていることを示しています。
したがって、StylusAI は手書きスタイル生成の分野で大きな進歩をもたらし、類似した文字を持つ言語の言語間スタイル適応における将来の研究と応用に有望な道を提供します。

要約(オリジナル)

In this study, we introduce StylusAI, a novel architecture leveraging diffusion models in the domain of handwriting style generation. StylusAI is specifically designed to adapt and integrate the stylistic nuances of one language’s handwriting into another, particularly focusing on blending English handwriting styles into the context of the German writing system. This approach enables the generation of German text in English handwriting styles and German handwriting styles into English, enriching machine-generated handwriting diversity while ensuring that the generated text remains legible across both languages. To support the development and evaluation of StylusAI, we present the \lq{Deutscher Handschriften-Datensatz}\rq~(DHSD), a comprehensive dataset encompassing 37 distinct handwriting styles within the German language. This dataset provides a fundamental resource for training and benchmarking in the realm of handwritten text generation. Our results demonstrate that StylusAI not only introduces a new method for style adaptation in handwritten text generation but also surpasses existing models in generating handwriting samples that improve both text quality and stylistic fidelity, evidenced by its performance on the IAM database and our newly proposed DHSD. Thus, StylusAI represents a significant advancement in the field of handwriting style generation, offering promising avenues for future research and applications in cross-linguistic style adaptation for languages with similar scripts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google