Self-Training of Handwritten Word Recognition for Synthetic-to-Real Adaptation

要約

手書き文字認識（HRR）モデルの性能は、ラベル付けされた代表的な学習サンプルの有無によって大きく左右される。しかし、多くのアプリケーションシナリオでは、ラベル付けされたサンプルが少ない、あるいは入手にコストがかかるという問題がある。本研究では、合成サンプルとラベルのないデータのみからHTRモデルを学習する自己学習手法を提案する。提案する学習方式は、合成データで学習した初期モデルを用いて、ラベルの付いていないターゲットデータセットに対する予測を行うものである。この初期モデルの性能はかなり低く、予測された擬似ラベルに対して学習を行うことで、かなりの適応が可能であることが示される。さらに、本研究で検討した自己学習法は、人手で注釈を付けた学習サンプルを必要としない。提案手法を広く用いられている4つのベンチマークデータセットで評価し、完全教師ありで学習したモデルとのギャップを縮める有効性を示す。

要約(オリジナル)

Performances of Handwritten Text Recognition (HTR) models are largely determined by the availability of labeled and representative training samples. However, in many application scenarios labeled samples are scarce or costly to obtain. In this work, we propose a self-training approach to train a HTR model solely on synthetic samples and unlabeled data. The proposed training scheme uses an initial model trained on synthetic data to make predictions for the unlabeled target dataset. Starting from this initial model with rather poor performance, we show that a considerable adaptation is possible by training against the predicted pseudo-labels. Moreover, the investigated self-training strategy does not require any manually annotated training samples. We evaluate the proposed method on four widely used benchmark datasets and show its effectiveness on closing the gap to a model trained in a fully-supervised manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL