Rethinking HTG Evaluation: Bridging Generation and Recognition

要約

自然画像タスクの生成モデルの評価は広範囲に研究されています。
完全に適切ではない場合でも、手書きの生成などの独自の特殊性を持つケースでは、同様のプロトコルとメトリックが使用されます。
この研究では、HTG の評価に合わせた 3 つの尺度、$ \text{HTG}_{\text{HTR}} $、$ \text{HTG}_{\text{style}} $、$ \text{ を導入します。
HTG}_{\text{OOV}} $ であり、生成された手書き画像の品質を評価するのにより適していると主張しています。
このメトリクスは、手書きテキスト認識および作家識別モデルの認識エラー/精度に依存しており、手書き画像の内容に準拠する主な側面として、書き方、テキストの内容、多様性を重視しています。
私たちは IAM 手書きデータベースで包括的な実験を実施し、FID などの広く使用されている指標では、生成された手書きサンプルの多様性と実用性を適切に定量化できないことを示しました。
私たちの調査結果は、メトリクスの情報が豊富であることを示しており、HTG における標準化された評価プロトコルの必要性を強調しています。
提案されたメトリクスは、HTG の品質を評価するためのより堅牢で有益なプロトコルを提供し、HTR のパフォーマンスの向上に貢献します。
評価プロトコルのコードは、https://github.com/koninik/HTG_evaluation で入手できます。

要約(オリジナル)

The evaluation of generative models for natural image tasks has been extensively studied. Similar protocols and metrics are used in cases with unique particularities, such as Handwriting Generation, even if they might not be completely appropriate. In this work, we introduce three measures tailored for HTG evaluation, $ \text{HTG}_{\text{HTR}} $, $ \text{HTG}_{\text{style}} $, and $ \text{HTG}_{\text{OOV}} $, and argue that they are more expedient to evaluate the quality of generated handwritten images. The metrics rely on the recognition error/accuracy of Handwriting Text Recognition and Writer Identification models and emphasize writing style, textual content, and diversity as the main aspects that adhere to the content of handwritten images. We conduct comprehensive experiments on the IAM handwriting database, showcasing that widely used metrics such as FID fail to properly quantify the diversity and the practical utility of generated handwriting samples. Our findings show that our metrics are richer in information and underscore the necessity of standardized evaluation protocols in HTG. The proposed metrics provide a more robust and informative protocol for assessing HTG quality, contributing to improved performance in HTR. Code for the evaluation protocol is available at: https://github.com/koninik/HTG_evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google