A Novel Data Augmentation Approach for Automatic Speaking Assessment on Opinion Expressions

要約

意見表現に関する自動スピーキング評価（ASA）は、ラベル付きの録音の希少性によってしばしば妨げられ、迅速な多様性を制限し、スコアリングの信頼性を損ないます。
この課題に対処するために、大きな言語モデル（LLM）を活用して特定の習熟レベルの多様な応答を生成する新しいトレーニングパラダイムを提案し、スピーカーを認識したテキストからスピーチの合成を介して応答を合成された音声に変換し、合成とリアルの発話の間の特徴分布に基づいて適応的に再び競争するトレーニングインスタンスに動的に重要な損失を採用します。
その後、マルチモーダルの大手言語モデルは、アラインドされたテキスト機能を音声信号と統合して、習熟度スコアを直接予測します。
LTTCデータセットで実施された実験は、このアプローチが実際のデータまたは従来の増強に依存している方法を上回り、リソースの低い制約を効果的に緩和し、クロスモーダル情報を使用した意見表現でASAを有効にすることを示しています。

要約(オリジナル)

Automated speaking assessment (ASA) on opinion expressions is often hampered by the scarcity of labeled recordings, which restricts prompt diversity and undermines scoring reliability. To address this challenge, we propose a novel training paradigm that leverages a large language models (LLM) to generate diverse responses of a given proficiency level, converts responses into synthesized speech via speaker-aware text-to-speech synthesis, and employs a dynamic importance loss to adaptively reweight training instances based on feature distribution differences between synthesized and real speech. Subsequently, a multimodal large language model integrates aligned textual features with speech signals to predict proficiency scores directly. Experiments conducted on the LTTC dataset show that our approach outperforms methods relying on real data or conventional augmentation, effectively mitigating low-resource constraints and enabling ASA on opinion expressions with cross-modal information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google