JCoLA: Japanese Corpus of Linguistic Acceptability

要約

ニューラル言語モデルは、さまざまな下流タスクで優れたパフォーマンスを示しています。
ただし、これらのモデルが構文知識をどの程度内部化するかについては理解が限られているため、言語間で言語モデルの構文評価を容易にするために、最近さまざまなデータセットが構築されています。
本稿では、二項受容性判断の注釈が付けられた 10,020 文からなる JCoLA (Japanese Corpus of Linguistic Acceptability) を紹介します。
具体的には、これらの文は言語学の教科書、ハンドブック、雑誌記事から手動で抽出され、ドメイン内データ (86 %、教科書やハンドブックから抽出された比較的単純な合否判定) とドメイン外データ (14 %、理論的に重要なデータ) に分割されます。
ジャーナル論文から抽出された合否判定）、後者は 12 の言語現象によって分類されます。
次に、JCoLA 上の 9 つの異なるタイプの日本語モデルの構文知識を評価します。
その結果、いくつかのモデルはドメイン内データでは人間のパフォーマンスを超えることができましたが、ドメイン外データでは人間のパフォーマンスを超えるモデルは存在しなかったことが実証されました。
言語現象によるエラー分析により、ニューラル言語モデルは引数構造などの局所的な構文依存関係の処理には熟達しているものの、口頭での合意やNPIライセンスなどの長距離の構文依存関係に直面するとパフォーマンスが低下することがさらに明らかになりました。

要約(オリジナル)

Neural language models have exhibited outstanding performance in a range of downstream tasks. However, there is limited understanding regarding the extent to which these models internalize syntactic knowledge, so that various datasets have recently been constructed to facilitate syntactic evaluation of language models across languages. In this paper, we introduce JCoLA (Japanese Corpus of Linguistic Acceptability), which consists of 10,020 sentences annotated with binary acceptability judgments. Specifically, those sentences are manually extracted from linguistics textbooks, handbooks and journal articles, and split into in-domain data (86 %; relatively simple acceptability judgments extracted from textbooks and handbooks) and out-of-domain data (14 %; theoretically significant acceptability judgments extracted from journal articles), the latter of which is categorized by 12 linguistic phenomena. We then evaluate the syntactic knowledge of 9 different types of Japanese language models on JCoLA. The results demonstrated that several models could surpass human performance for the in-domain data, while no models were able to exceed human performance for the out-of-domain data. Error analyses by linguistic phenomena further revealed that although neural language models are adept at handling local syntactic dependencies like argument structure, their performance wanes when confronted with long-distance syntactic dependencies like verbal agreement and NPI licensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google