Leveraging Expert Models for Training Deep Neural Networks in Scarce Data Domains: Application to Offline Handwritten Signature Verification

要約

この論文では、タスク固有のデータが制限されているか利用できない領域で、新しい畳み込みニューラル ネットワークをトレーニングするために既存のエキスパート モデルの知識を活用する新しいアプローチを紹介します。
提示されたスキームは、他の生体認証アプリケーションと同様に、規制上の制限による固有のデータ制限に悩まされるオフライン手書き署名検証 (OffSV) に適用されます。
提案された生徒と教師 (S-T) 構成では、特徴ベースの知識蒸留 (FKD) が利用され、ローカルな活性化に対するグラフベースの類似性とグローバルな類似性測定を組み合わせて、手書きのテキスト データのみを使用して生徒のトレーニングを監督します。
注目すべきことに、この手法を使用してトレーニングされたモデルは、3 つの一般的なシグネチャ データセットにわたって、教師モデルよりも優れているとは言わないまでも、同等のパフォーマンスを示します。
さらに重要なのは、これらの結果は、特徴抽出トレーニング プロセス中に署名を使用することなく得られることです。
この研究は、OffSV および潜在的に他の関連ドメインにおけるデータ不足の課題を克服するために、既存のエキスパート モデルを活用する有効性を実証しています。

要約(オリジナル)

This paper introduces a novel approach to leverage the knowledge of existing expert models for training new Convolutional Neural Networks, on domains where task-specific data are limited or unavailable. The presented scheme is applied in offline handwritten signature verification (OffSV) which, akin to other biometric applications, suffers from inherent data limitations due to regulatory restrictions. The proposed Student-Teacher (S-T) configuration utilizes feature-based knowledge distillation (FKD), combining graph-based similarity for local activations with global similarity measures to supervise student’s training, using only handwritten text data. Remarkably, the models trained using this technique exhibit comparable, if not superior, performance to the teacher model across three popular signature datasets. More importantly, these results are attained without employing any signatures during the feature extraction training process. This study demonstrates the efficacy of leveraging existing expert models to overcome data scarcity challenges in OffSV and potentially other related domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google