Self-Training of Handwritten Word Recognition for Synthetic-to-Real Adaptation

要約

手書きテキスト認識（HTR）モデルのパフォーマンスは、主にラベル付きの代表的なトレーニングサンプルの可用性によって決まります。
ただし、多くのアプリケーションシナリオでは、ラベル付けされたサンプルを入手するのが不足しているか、コストがかかります。
この作業では、合成サンプルとラベルなしデータのみでHTRモデルをトレーニングするセルフトレーニングアプローチを提案します。
提案されたトレーニングスキームは、合成データでトレーニングされた初期モデルを使用して、ラベルのないターゲットデータセットの予測を行います。
パフォーマンスがかなり低いこの初期モデルから始めて、予測された疑似ラベルに対してトレーニングすることで、かなりの適応が可能であることを示します。
さらに、調査されたセルフトレーニング戦略では、手動で注釈を付けたトレーニングサンプルは必要ありません。
広く使用されている4つのベンチマークデータセットで提案された方法を評価し、完全に監視された方法でトレーニングされたモデルとのギャップを埋める効果を示します。

要約(オリジナル)

Performances of Handwritten Text Recognition (HTR) models are largely determined by the availability of labeled and representative training samples. However, in many application scenarios labeled samples are scarce or costly to obtain. In this work, we propose a self-training approach to train a HTR model solely on synthetic samples and unlabeled data. The proposed training scheme uses an initial model trained on synthetic data to make predictions for the unlabeled target dataset. Starting from this initial model with rather poor performance, we show that a considerable adaptation is possible by training against the predicted pseudo-labels. Moreover, the investigated self-training strategy does not require any manually annotated training samples. We evaluate the proposed method on four widely used benchmark datasets and show its effectiveness on closing the gap to a model trained in a fully-supervised manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google