Addressing Cold Start Problem for End-to-end Automatic Speech Scoring

要約

自動音声採点/評価システムの統合は、第二言語スピーキング教育の重要な側面となっています。
自己教師あり学習の進歩により、エンドツーエンドの音声スコアリングアプローチは有望な結果を示しています。
ただし、この研究では、新しい質問のコンテキストにおける音声スコアリング システムのパフォーマンスが大幅に低下していることが強調されており、それによってこれが項目の観点からコールド スタートの問題であることが特定されています。
コールド スタート現象の発見に伴い、この論文は次の方法によって問題を軽減することを目指しています: 1) プロンプト エンベディング、2) BERT または CLIP モデルを使用した質問コンテキスト エンベディング、および 3) 事前トレーニングされた音響モデルの選択。
実験は、専門の TOEIC スピーキング評価者によって評価された第二言語としての英語 (ESL) 学習者から収集された TOEIC スピーキング テスト データセットに対して行われます。
この結果は、提案されたフレームワークがコールド スタート環境で堅牢性を示すだけでなく、既知のコンテンツのベースラインを上回るパフォーマンスを発揮することを示しています。

要約(オリジナル)

Integrating automatic speech scoring/assessment systems has become a critical aspect of second-language speaking education. With self-supervised learning advancements, end-to-end speech scoring approaches have exhibited promising results. However, this study highlights the significant decrease in the performance of speech scoring systems in new question contexts, thereby identifying this as a cold start problem in terms of items. With the finding of cold-start phenomena, this paper seeks to alleviate the problem by following methods: 1) prompt embeddings, 2) question context embeddings using BERT or CLIP models, and 3) choice of the pretrained acoustic model. Experiments are conducted on TOEIC speaking test datasets collected from English-as-a-second-language (ESL) learners rated by professional TOEIC speaking evaluators. The results demonstrate that the proposed framework not only exhibits robustness in a cold-start environment but also outperforms the baselines for known content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google