Self-Supervised Learning Based Handwriting Verification

要約

手書き検証のタスクに適用される SSL-HV: 自己教師あり学習アプローチを紹介します。
このタスクには、特定の手書きイメージのペアが同じライター分布に由来するか、または異なるライター分布に由来するかを判断することが含まれます。
私たちは、複数の生成的で対照的な SSL アプローチのパフォーマンスを、手作りの特徴抽出器および CEDAR およびデータセットでの教師あり学習と比較しました。
ResNet ベースの変分自動エンコーダ (VAE) は他の生成アプローチよりも優れており、76.3% の精度を達成し、分散不変共分散正則化 (VICReg) を使用して微調整された ResNet-18 は他の対照的なアプローチよりも優れており、78% の精度を達成していることを示します。
ライター検証の下流タスクに事前トレーニングされた VAE と VICReg を使用すると、ライター ラベルが 10% の ResNet-18 監視ベースラインと比較して、精度が 6.7% および 9% 向上することが観察されました。

要約(オリジナル)

We present SSL-HV: Self-Supervised Learning approaches applied to the task of Handwriting Verification. This task involves determining whether a given pair of handwritten images originate from the same or different writer distribution. We have compared the performance of multiple generative, contrastive SSL approaches against handcrafted feature extractors and supervised learning on CEDAR AND dataset. We show that ResNet based Variational Auto-Encoder (VAE) outperforms other generative approaches achieving 76.3% accuracy, while ResNet-18 fine-tuned using Variance-Invariance-Covariance Regularization (VICReg) outperforms other contrastive approaches achieving 78% accuracy. Using a pre-trained VAE and VICReg for the downstream task of writer verification we observed a relative improvement in accuracy of 6.7% and 9% over ResNet-18 supervised baseline with 10% writer labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google