Measuring Contextual Informativeness in Child-Directed Text

要約

語彙を豊かにするための童話を作成する際の重要なギャップに対処するために、私たちは、物語がターゲット語彙の意味をどの程度うまく伝えているかの自動評価を調査します。これは、教育コンテンツの作成に多大な影響を与えるタスクです。
私たちは、このタスクを「子供の物語の文脈上の情報提供性の測定」と呼んでおり、正式なタスク定義とタスクのデータセットを提供します。
さらに、大規模言語モデル (LLM) を使用してタスクを自動化する方法を提案します。
私たちの実験によると、私たちのアプローチは人間による有益性の判断とのスピアマン相関が 0.4983 に達するのに対し、最も強いベースラインでは 0.3534 の相関しか得られません。
追加の分析では、LLM ベースのアプローチが成人向けテキストの文脈上の情報提供性の測定に一般化できることが示されており、このアプローチでもすべてのベースラインを上回っています。

要約(オリジナル)

To address an important gap in creating children’s stories for vocabulary enrichment, we investigate the automatic evaluation of how well stories convey the semantics of target vocabulary words, a task with substantial implications for generating educational content. We motivate this task, which we call measuring contextual informativeness in children’s stories, and provide a formal task definition as well as a dataset for the task. We further propose a method for automating the task using a large language model (LLM). Our experiments show that our approach reaches a Spearman correlation of 0.4983 with human judgments of informativeness, while the strongest baseline only obtains a correlation of 0.3534. An additional analysis shows that the LLM-based approach is able to generalize to measuring contextual informativeness in adult-directed text, on which it also outperforms all baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google