An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications

要約

人間も機械も文中の文脈情報を通じて未知の単語の意味を学習しますが、すべての文脈が学習に同様に役立つわけではありません。
特定のターゲット単語に関する文脈情報のレベルを取得するための効果的な方法を紹介します。
私たちの研究は主に 3 つの貢献をしています。
まず、文章の教育的側面に焦点を当てて、文脈上の情報提供性を推定するためのモデルを開発します。
事前トレーニングされた埋め込みを使用したアテンションベースのアプローチは、単一コンテキスト データセットと既存のマルチセンテンス コンテキスト データセットで最先端のパフォーマンスを実証します。
次に、読者のターゲット単語の理解に最も貢献すると思われる文内の重要な文脈要素をモデルがどのように識別するかを示します。
3 番目に、元々は学生向けの語彙学習アプリケーション用に開発されたコンテキスト情報モデルが、バッチ学習および少数ショット機械学習設定における単語埋め込みモデルのより良いトレーニング カリキュラムの開発にどのように使用できるかを検証します。
私たちは、私たちの結果が、人間と機械の両方の学習者の言語学習をサポートするアプリケーションの新たな可能性を開くと信じています。

要約(オリジナル)

Both humans and machines learn the meaning of unknown words through contextual information in a sentence, but not all contexts are equally helpful for learning. We introduce an effective method for capturing the level of contextual informativeness with respect to a given target word. Our study makes three main contributions. First, we develop models for estimating contextual informativeness, focusing on the instructional aspect of sentences. Our attention-based approach using pre-trained embeddings demonstrates state-of-the-art performance on our single-context dataset and an existing multi-sentence context dataset. Second, we show how our model identifies key contextual elements in a sentence that are likely to contribute most to a reader’s understanding of the target word. Third, we examine how our contextual informativeness model, originally developed for vocabulary learning applications for students, can be used for developing better training curricula for word embedding models in batch learning and few-shot machine learning settings. We believe our results open new possibilities for applications that support language learning for both human and machine learners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google