Zero-Shot Styled Text Image Generation, but Make It Autoregressive

要約

スタイルの手書きのテキスト生成（HTG）は最近、コンピュータービジョンおよびドキュメント分析コミュニティから注目を集めました。このコミュニティは、有望な結果を達成したGanまたは拡散ベースのいずれかのいくつかのソリューションを開発しました。
それにもかかわらず、これらの戦略は、特に最大出力の長さとトレーニング効率の点で、新しいスタイルに一般化し、技術的な制約を持つことができません。
これらの制限を克服するために、この作業では、Emuruと呼ばれるテキスト画像生成の新しいフレームワークを提案します。
私たちのアプローチは、自動回帰トランスと組み合わせた強力なテキスト画像表現モデル（変分自動エンコーダー）を活用しています。
私たちのアプローチにより、特定のフォントや手書きスタイルなど、テキストコンテンツやスタイルの例に条件付けられたスタイルのテキスト画像の生成が可能になります。
モデルは、100,000を超えるタイプライターと書道フォントでレンダリングされた英語のテキストの多様で合成データセットでのみトレーニングします。これにより、目に見えないスタイル（フォントとユーザーの手書きの両方）をゼロショットで再現できます。
私たちの知る限り、EmuruはHTGの最初の自己回帰モデルであり、新しいスタイルへの一般化のために特別に設計された最初の自己回帰モデルです。
さらに、私たちのモデルは、バックグラウンドアーティファクトのない画像を生成します。これは、ダウンストリームアプリケーションに使いやすいです。
タイプライターと手書きの両方のテキスト画像生成シナリオの両方の広範な評価は、私たちのアプローチの有効性を示しています。

要約(オリジナル)

Styled Handwritten Text Generation (HTG) has recently received attention from the computer vision and document analysis communities, which have developed several solutions, either GAN- or diffusion-based, that achieved promising results. Nonetheless, these strategies fail to generalize to novel styles and have technical constraints, particularly in terms of maximum output length and training efficiency. To overcome these limitations, in this work, we propose a novel framework for text image generation, dubbed Emuru. Our approach leverages a powerful text image representation model (a variational autoencoder) combined with an autoregressive Transformer. Our approach enables the generation of styled text images conditioned on textual content and style examples, such as specific fonts or handwriting styles. We train our model solely on a diverse, synthetic dataset of English text rendered in over 100,000 typewritten and calligraphy fonts, which gives it the capability to reproduce unseen styles (both fonts and users’ handwriting) in zero-shot. To the best of our knowledge, Emuru is the first autoregressive model for HTG, and the first designed specifically for generalization to novel styles. Moreover, our model generates images without background artifacts, which are easier to use for downstream applications. Extensive evaluation on both typewritten and handwritten, any-length text image generation scenarios demonstrates the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google