MX-Font++: Mixture of Heterogeneous Aggregation Experts for Few-shot Font Generation

要約

少数のフォント生成（FFG）は、限られた参照グリフを使用して新しいフォントライブラリを作成することを目的としています。特に多言語の人工知能システムでは、低リソース言語のデジタルアクセシビリティとエクイティに重要なアプリケーションを備えています。
既存の方法では有望なパフォーマンスが示されていますが、リソースの低い言語で目に見えないキャラクターへの移行は、特にトレーニングセット間でフォントグリフがかなり異なる場合、依然として重要な課題のままです。
MX-Fontは、ローカルコンポーネントの観点からキャラクターの内容を考慮し、専門家（MOE）アプローチの混合を使用して、コンポーネントを適応的に抽出してより良い遷移を抽出します。
ただし、堅牢な特徴抽出器がないため、コンテンツとスタイルを適切に切り離すことができず、最適な生成の結果につながります。
これらの問題を軽減するために、不均一な集合体の専門家（HAE）を提案します。これは、チャネルと空間的寸法の情報を集約できるようになってコンテンツとスタイルを分離するのに役立つ強力な機能抽出の専門家です。
さらに、解明を強化するために、新しいコンテンツスタイルの均一性の損失を提案します。
いくつかのデータセットでの広範な実験は、MX-Font ++がFFGで優れた視覚的結果をもたらし、最先端の方法を効果的に上回ることを示しています。
コードとデータは、https：//github.com/stephensun11/mxfontppで入手できます。

要約(オリジナル)

Few-shot Font Generation (FFG) aims to create new font libraries using limited reference glyphs, with crucial applications in digital accessibility and equity for low-resource languages, especially in multilingual artificial intelligence systems. Although existing methods have shown promising performance, transitioning to unseen characters in low-resource languages remains a significant challenge, especially when font glyphs vary considerably across training sets. MX-Font considers the content of a character from the perspective of a local component, employing a Mixture of Experts (MoE) approach to adaptively extract the component for better transition. However, the lack of a robust feature extractor prevents them from adequately decoupling content and style, leading to sub-optimal generation results. To alleviate these problems, we propose Heterogeneous Aggregation Experts (HAE), a powerful feature extraction expert that helps decouple content and style downstream from being able to aggregate information in channel and spatial dimensions. Additionally, we propose a novel content-style homogeneity loss to enhance the untangling. Extensive experiments on several datasets demonstrate that our MX-Font++ yields superior visual results in FFG and effectively outperforms state-of-the-art methods. Code and data are available at https://github.com/stephensun11/MXFontpp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google