ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment

要約

自動多言語可読性評価のための大規模言語モデルの体系的な研究と包括的な評価を紹介します。
特に、112 の異なるデータ ソースから収集されたアラビア語、英語、フランス語、ヒンディー語、ロシア語の 9757 文に人による注釈を付けた多言語マルチドメイン データセットである ReadMe++ を構築します。
ReadMe++ は既存の可読性データセットよりも多くのドメインと言語の多様性を提供しており、教師あり、教師なしの多言語および非英語言語モデル (mBERT、XLM-R、mT5、Llama-2、GPT-4 など) のベンチマークに最適です。
、および数ショットのプロンプト設定。
私たちの実験では、ReadMe++ で微調整されたモデルが単一ドメイン データセットでトレーニングされたモデルよりも優れたパフォーマンスを示し、マルチドメインの可読性評価と言語間転送機能で優れたパフォーマンスを示していることが明らかになりました。
また、従来の可読性指標 (Flesch-Kincaid Grade Level やアラビア語の物語を測定するためのオープンソース指標など) や、最先端の教師なし指標 RSRS (Martinc et al., 2021) とも比較します。
データとコードは https://github.com/tareknaous/readme で公開します。

要約(オリジナル)

We present a systematic study and comprehensive evaluation of large language models for automatic multilingual readability assessment. In particular, we construct ReadMe++, a multilingual multi-domain dataset with human annotations of 9757 sentences in Arabic, English, French, Hindi, and Russian collected from 112 different data sources. ReadMe++ offers more domain and language diversity than existing readability datasets, making it ideal for benchmarking multilingual and non-English language models (including mBERT, XLM-R, mT5, Llama-2, GPT-4, etc.) in the supervised, unsupervised, and few-shot prompting settings. Our experiments reveal that models fine-tuned on ReadMe++ outperform those trained on single-domain datasets, showcasing superior performance on multi-domain readability assessment and cross-lingual transfer capabilities. We also compare to traditional readability metrics (such as Flesch-Kincaid Grade Level and Open Source Metric for Measuring Arabic Narratives), as well as the state-of-the-art unsupervised metric RSRS (Martinc et al., 2021). We will make our data and code publicly available at: https://github.com/tareknaous/readme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google