Pronunciation Assessment with Multi-modal Large Language Models

要約

大規模言語モデル (LLM) は、強力な会話能力で知られ、教育分野、特に言語学習のための自動インテリジェント指導システムの文脈において優れたツールとして広く認識されています。
この論文では、LLM がテキスト関連のスコアリング タスクにプラスの影響を与えることを動機とした、LLM に基づくスコアリング システムを提案します。
具体的には、音声エンコーダはまず学習者の音声を文脈上の特徴にマッピングします。
次に、アダプター層はこれらの特徴を変換して、潜在空間に埋め込まれているテキストに合わせます。
評価タスク固有のプレフィックスとプロンプト テキストが埋め込まれ、モダリティ アダプター層によって生成された機能と連結されるため、LLM は精度と流暢性のスコアを予測できます。
私たちの実験は、提案されたスコアリング システムが Speechocean762 データセットのベースラインと比較して競合する結果を達成することを示しています。
さらに、提案されたスコアリングシステムにおけるプロンプトテキストとトレーニング戦略の貢献をより深く理解するために、アブレーション研究も実施しました。

要約(オリジナル)

Large language models (LLMs), renowned for their powerful conversational abilities, are widely recognized as exceptional tools in the field of education, particularly in the context of automated intelligent instruction systems for language learning. In this paper, we propose a scoring system based on LLMs, motivated by their positive impact on text-related scoring tasks. Specifically, the speech encoder first maps the learner’s speech into contextual features. The adapter layer then transforms these features to align with the text embedding in latent space. The assessment task-specific prefix and prompt text are embedded and concatenated with the features generated by the modality adapter layer, enabling the LLMs to predict accuracy and fluency scores. Our experiments demonstrate that the proposed scoring systems achieve competitive results compared to the baselines on the Speechocean762 datasets. Moreover, we also conducted an ablation study to better understand the contributions of the prompt text and training strategy in the proposed scoring system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google