Interaction Matters: An Evaluation Framework for Interactive Dialogue Assessment on English Second Language Conversations

要約

第二言語としての英語（ESL）話者の文脈における対話評価の枠組みを提示する。本フレームワークは、対話レベルの対話性ラベル（例：トピック管理、計4ラベル）とミクロレベルのスパン特徴（例：バックチャンネル、計17特徴）を収集する。アノテーションされたデータを用いて、様々な機械学習ベースのモデルを構築することにより、ミクロレベルの特徴がESL対話の（より高いレベルの）双方向性の質にどのような影響を与えるかを研究する。その結果、参照語（she、her、heなど）のような特定のミクロレベルの特徴が対話の質と強い相関があることが示され、高次レベルの対話の質と低次レベルの言語シグナルの相互作用に関する新たな洞察が明らかになった。また、我々のフレームワークはESLコミュニケーションを評価する手段を提供し、言語評価に有用である。

要約(オリジナル)

We present an evaluation framework for interactive dialogue assessment in the context of English as a Second Language (ESL) speakers. Our framework collects dialogue-level interactivity labels (e.g., topic management; 4 labels in total) and micro-level span features (e.g., backchannels; 17 features in total). Given our annotated data, we study how the micro-level features influence the (higher level) interactivity quality of ESL dialogues by constructing various machine learning-based models. Our results demonstrate that certain micro-level features strongly correlate with interactivity quality, like reference word (e.g., she, her, he), revealing new insights about the interaction between higher-level dialogue quality and lower-level linguistic signals. Our framework also provides a means to assess ESL communication, which is useful for language assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL