PrOnto: Language Model Evaluations for 859 Languages

要約

評価データセットは、事前トレーニングされた言語モデルの品質を測定するための重要なリソースです。
ただし、データセットのアノテーションはコストが高いため、英語以外のほとんどの言語ではこれらのリソースが不足しており、言語モデルの品質を評価することが困難です。
この研究では、新約聖書の翻訳を持つ任意の言語が、事前トレーニングされた言語モデルの評価に適した一連の評価データセットを受け取ることを可能にする、評価データセット構築のための新しい方法を紹介します。
この方法では、詩節を英語の OntoNotes の新約聖書部分の詩節と整合させ、その後、英語からターゲット言語に注釈を投影することが重要であり、手動による注釈は必要ありません。
この方法を859年に翻訳された新約聖書1051冊に適用し、公開しています。
さらに、言語モデルの品質を評価できる評価タスクを作成するための方法の有効性を実証する実験を実施します。

要約(オリジナル)

Evaluation datasets are critical resources for measuring the quality of pretrained language models. However, due to the high cost of dataset annotation, these resources are scarce for most languages other than English, making it difficult to assess the quality of language models. In this work, we present a new method for evaluation dataset construction which enables any language with a New Testament translation to receive a suite of evaluation datasets suitable for pretrained language model evaluation. The method critically involves aligning verses with those in the New Testament portion of English OntoNotes, and then projecting annotations from English to the target language, with no manual annotation required. We apply this method to 1051 New Testament translations in 859 and make them publicly available. Additionally, we conduct experiments which demonstrate the efficacy of our method for creating evaluation tasks which can assess language model quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google