ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment

要約

多言語可読性評価のための大規模言語モデルの包括的な評価を示します。
既存の評価リソースにはドメインと言語の多様性が欠けており、クロスドメインおよびクロス言語分析の能力が制限されています。
このペーパーでは、112 の異なるデータ ソースから収集された、アラビア語、英語、フランス語、ヒンディー語、ロシア語の 9757 文の人による注釈を備えた多言語マルチドメイン データセットである ReadMe++ を紹介します。
このベンチマークは、堅牢な多言語可読性評価方法の開発に関する研究を促進します。
ReadMe++ を使用して、教師あり、教師なし、および少数ショット プロンプト設定で多言語および単言語言語モデルのベンチマークを行います。
ReadMe++ のドメインと言語の多様性により、より効果的な数回のプロンプトをテストし、最先端の教師なし手法の欠点を特定することができます。
私たちの実験では、ReadMe++ でトレーニングされたモデルによる優れたドメイン一般化と強化された言語間の伝達能力という刺激的な結果も明らかになりました。
データを公開し、トレーニング済みモデルを使用して多言語文章の読みやすさを予測するための Python パッケージ ツールを https://github.com/tareknaous/readme でリリースします。

要約(オリジナル)

We present a comprehensive evaluation of large language models for multilingual readability assessment. Existing evaluation resources lack domain and language diversity, limiting the ability for cross-domain and cross-lingual analyses. This paper introduces ReadMe++, a multilingual multi-domain dataset with human annotations of 9757 sentences in Arabic, English, French, Hindi, and Russian, collected from 112 different data sources. This benchmark will encourage research on developing robust multilingual readability assessment methods. Using ReadMe++, we benchmark multilingual and monolingual language models in the supervised, unsupervised, and few-shot prompting settings. The domain and language diversity in ReadMe++ enable us to test more effective few-shot prompting, and identify shortcomings in state-of-the-art unsupervised methods. Our experiments also reveal exciting results of superior domain generalization and enhanced cross-lingual transfer capabilities by models trained on ReadMe++. We will make our data publicly available and release a python package tool for multilingual sentence readability prediction using our trained models at: https://github.com/tareknaous/readme

arxiv情報

提供元, 利用サービス

arxiv.jp, Google