Japanese Lexical Complexity for Non-Native Readers: A New Dataset

要約

語彙複雑さ予測 (LCP) は、テキスト内の単語の複雑さを連続スケールで予測するタスクです。
複雑な単語を簡略化したり、注釈を付けて読者を支援するのに重要な役割を果たします。
日本語の語彙の複雑さを研究するために、最初の日本語 LCP データセットを構築しました。
私たちのデータセットは、読者の L1 固有のニーズに対応するために、中国/韓国のアノテーターおよびその他のアノテーターに個別の複雑さスコアを提供します。
ベースライン実験では、日本の LCP に対する BERT ベースのシステムの有効性を実証します。

要約(オリジナル)

Lexical complexity prediction (LCP) is the task of predicting the complexity of words in a text on a continuous scale. It plays a vital role in simplifying or annotating complex words to assist readers. To study lexical complexity in Japanese, we construct the first Japanese LCP dataset. Our dataset provides separate complexity scores for Chinese/Korean annotators and others to address the readers’ L1-specific needs. In the baseline experiment, we demonstrate the effectiveness of a BERT-based system for Japanese LCP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google