CNIMA: A Universal Evaluation Framework and Automated Approach for Assessing Second Language Dialogues

要約

私たちは、10,000 の対話を含む第二言語としての中国語のラベル付きデータセットである CNIMA (中国語非ネイティブ対話性測定と自動化) を開発しています。
私たちは、もともと第二言語としての英語の対話のために導入された評価フレームワークを使用して CNIMA にアノテーションを付け、ミクロレベルの機能 (例: バックチャネル) とマクロレベルの対話性ラベル (例: トピック管理) を評価し、
フレームワークの英語から中国語への移行可能性。
私たちは、フレームワークが言語間で堅牢であることを発見し、ミクロレベルの機能とマクロレベルの機能の間の普遍的および言語固有の関係を明らかにしました。
次に、評価を自動化し、優れたパフォーマンスを見つけるためのアプローチを提案し、自動第二言語評価のための新しいツールを作成します。
私たちのシステムは大規模な言語モデルを使用しており、大規模な注釈付きトレーニング データを必要としないため、他の言語にも簡単に適応できます。

要約(オリジナル)

We develop CNIMA (Chinese Non-Native Interactivity Measurement and Automation), a Chinese-as-a-second-language labelled dataset with 10K dialogues. We annotate CNIMA using an evaluation framework — originally introduced for English-as-a-second-language dialogues — that assesses micro-level features (e.g.\ backchannels) and macro-level interactivity labels (e.g.\ topic management) and test the framework’s transferability from English to Chinese. We found the framework robust across languages and revealed universal and language-specific relationships between micro-level and macro-level features. Next, we propose an approach to automate the evaluation and find strong performance, creating a new tool for automated second language assessment. Our system can be adapted to other languages easily as it uses large language models and as such does not require large-scale annotated training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google