Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence

要約

会話テストにおける自動スピーキング評価 (ASAC) は、対話者が 1 人以上の受験者と対話する環境で、L2 (第二言語) 話者の全体的なスピーキング能力を評価することを目的としています。
これまでの ASAC アプローチはそれぞれのデータセットで有望なパフォーマンスを示してきましたが、会話内の論理フローの一貫性をグレーディング モデルに組み込むことに特に焦点を当てた研究はまだ不足しています。
この重要な課題に対処するために、我々は、広範な応答間の相互作用 (談話関係など) と微妙な意味論的情報 (意味論的な単語や話者の意図など) の両方を適切に組み込んだ階層グラフ モデルを提案します。
最終予想。
NICT-JLE ベンチマーク データセットに関する広範な実験結果は、私たちが提案するモデリング アプローチが、いくつかの強力なベースラインと比較して、さまざまな評価指標に関して予測精度の大幅な向上をもたらす可能性があることを示唆しています。
これは、ASAC における音声応答の一貫性に関連する側面を調査することの重要性にも光を当てています。

要約(オリジナル)

Automated speaking assessment in conversation tests (ASAC) aims to evaluate the overall speaking proficiency of an L2 (second-language) speaker in a setting where an interlocutor interacts with one or more candidates. Although prior ASAC approaches have shown promising performance on their respective datasets, there is still a dearth of research specifically focused on incorporating the coherence of the logical flow within a conversation into the grading model. To address this critical challenge, we propose a hierarchical graph model that aptly incorporates both broad inter-response interactions (e.g., discourse relations) and nuanced semantic information (e.g., semantic words and speaker intents), which is subsequently fused with contextual information for the final prediction. Extensive experimental results on the NICT-JLE benchmark dataset suggest that our proposed modeling approach can yield considerable improvements in prediction accuracy with respect to various assessment metrics, as compared to some strong baselines. This also sheds light on the importance of investigating coherence-related facets of spoken responses in ASAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google