AGTGAN: Unpaired Image Translation for Photographic Ancient Character Generation

要約

古代の書物を研究することは、考古学と文献学にとって大きな価値があります。
素材の本質的な形式は写真文字ですが、手動の写真文字認識は非常に時間がかかり、専門知識に依存します。
したがって、自動分類が非常に望まれます。
ただし、注釈付きデータがないため、現在のパフォーマンスは制限されています。
データ生成は安価ですが、データ不足に対する有効な解決策です。
それにもかかわらず、写真の古代文字の多様なグリフ形状と複雑な背景テクスチャは、生成タスクを困難にし、既存の方法の不十分な結果につながります。
この論文では、AGTGANと呼ばれる教師なし生成的敵対ネットワークを提案します。
明示的なグローバルおよびローカル グリフ シェイプ スタイル モデリングとそれに続くストローク認識テクスチャ転送、および関連する敵対的学習メカニズムにより、この方法は多様なグリフとリアルなテクスチャを備えた文字を生成できます。
OBC306やCSDDなどの写真の古代文字データセットに対するアプローチを評価します。
私たちの方法は、さまざまな指標で最先端のアプローチよりも優れており、生成されたサンプルの多様性と信頼性の点ではるかに優れています。
生成された画像を使用して、最大の写真の甲骨文字データセットでの実験により、この方法で分類精度が最大 16.34% まで大幅に向上することが示されました。

要約(オリジナル)

The study of ancient writings has great value for archaeology and philology. Essential forms of material are photographic characters, but manual photographic character recognition is extremely time-consuming and expertise-dependent. Automatic classification is therefore greatly desired. However, the current performance is limited due to the lack of annotated data. Data generation is an inexpensive but useful solution for data scarcity. Nevertheless, the diverse glyph shapes and complex background textures of photographic ancient characters make the generation task difficult, leading to the unsatisfactory results of existing methods. In this paper, we propose an unsupervised generative adversarial network called AGTGAN. By the explicit global and local glyph shape style modeling followed by the stroke-aware texture transfer, as well as an associate adversarial learning mechanism, our method can generate characters with diverse glyphs and realistic textures. We evaluate our approach on the photographic ancient character datasets, e.g., OBC306 and CSDD. Our method outperforms the state-of-the-art approaches in various metrics and performs much better in terms of the diversity and authenticity of generated samples. With our generated images, experiments on the largest photographic oracle bone character dataset show that our method can achieve a significant increase in classification accuracy, up to 16.34%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google