Learning to Align: Addressing Character Frequency Distribution Shifts in Handwritten Text Recognition

要約

手書きのテキスト認識は、視覚入力を機械可読テキストに変換することを目的としており、手書きの進化とコンテキスト依存性の性質のために困難なままです。
キャラクターセットは時間とともに変化し、文字頻度分布は歴史的期間または地域にシフトし、多くの場合、広範で不均一なコーパスで訓練されたモデルが特定のサブセットでパフォーマンスを低下させます。
これに取り組むために、予測されたテキストの文字頻度分布とトレーニングデータから経験的に導出されたターゲット分布との間にwasserstein距離を組み込んだ新しい損失関数を提案します。
予想される分布からの相違を罰することにより、私たちのアプローチは、時間的および文脈上のダタセット内シフトの下での精度と堅牢性の両方を強化します。
さらに、誘導デコードスキームでスコアリング関数として統合することにより、再訓練を必要とせずに、文字分布のアライメントが推論時間に既存のモデルを改善できることを実証します。
複数のデータセットとアーキテクチャにわたる実験結果は、一般化とパフォーマンスの向上における方法の有効性を確認します。
https://github.com/pkaliosis/fadaでコードをオープンします。

要約(オリジナル)

Handwritten text recognition aims to convert visual input into machine-readable text, and it remains challenging due to the evolving and context-dependent nature of handwriting. Character sets change over time, and character frequency distributions shift across historical periods or regions, often causing models trained on broad, heterogeneous corpora to underperform on specific subsets. To tackle this, we propose a novel loss function that incorporates the Wasserstein distance between the character frequency distribution of the predicted text and a target distribution empirically derived from training data. By penalizing divergence from expected distributions, our approach enhances both accuracy and robustness under temporal and contextual intra-dataset shifts. Furthermore, we demonstrate that character distribution alignment can also improve existing models at inference time without requiring retraining by integrating it as a scoring function in a guided decoding scheme. Experimental results across multiple datasets and architectures confirm the effectiveness of our method in boosting generalization and performance. We open source our code at https://github.com/pkaliosis/fada.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google