Unknown Word Detection for English as a Second Language (ESL) Learners Using Gaze and Pre-trained Language Models

要約

第二言語（ESL）としての英語学習者は、テキストの理解を妨げる不明な単語に遭遇することがよくあります。
ユーザーが読み取られたときにこれらの単語を自動的に検出すると、コンピューティングシステムがジャストインタイムの定義、同義語、またはコンテキスト説明を提供できるようにし、ユーザーが自然でシームレスな方法で語彙を学ぶのに役立ちます。
このペーパーでは、テキストの内容と眼の視線の軌跡に基づいて不明な単語の確率をリアルタイムで高精度で予測する、変圧器ベースの機械学習方法であるEyelingoを紹介します。
20人の参加者のユーザー調査により、私たちの方法は97.6％の精度と71.1％のF1スコアを達成できることが明らかになりました。
アイリンゴの有効性を示すために、リアルタイムリーディングアシスタンスプロトタイプを実装しました。
ユーザー調査では、ベースラインの方法と比較して、使用意欲と有用性の改善が示されています。

要約(オリジナル)

English as a Second Language (ESL) learners often encounter unknown words that hinder their text comprehension. Automatically detecting these words as users read can enable computing systems to provide just-in-time definitions, synonyms, or contextual explanations, thereby helping users learn vocabulary in a natural and seamless manner. This paper presents EyeLingo, a transformer-based machine learning method that predicts the probability of unknown words based on text content and eye gaze trajectory in real time with high accuracy. A 20-participant user study revealed that our method can achieve an accuracy of 97.6%, and an F1-score of 71.1%. We implemented a real-time reading assistance prototype to show the effectiveness of EyeLingo. The user study shows improvement in willingness to use and usefulness compared to baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google