MEGA: Multilingual Evaluation of Generative AI

要約

ジェネレーティブ AI モデルは、言語理解、推論、言語生成など、多くの自然言語処理タスクで優れたパフォーマンスを発揮します。
今日の AI コミュニティから寄せられている最も重要な質問の 1 つは、これらのモデルの機能と限界に関するものであり、ジェネレーティブ AI の評価が非常に困難であることは明らかです。
生成的な大規模言語モデル (LLM) に関するほとんどの研究は英語に限定されており、これらのモデルが他の言語を理解し生成する能力がどの程度あるのかは不明です。
ジェネレーティブ LLM の最初の包括的なベンチマーク – MEGA を提示します。MEGA は、標準の NLP ベンチマークでモデルを評価し、8 つの多様なタスクと 33 の類型的に多様な言語をカバーします。
また、これらのタスクで生成 LLM のパフォーマンスを最先端 (SOTA) の非自己回帰モデルと比較して、前世代の LLM と比較して生成モデルがどの程度うまく機能するかを判断します。
言語間でのモデルのパフォーマンスの徹底的な分析を提示し、生成 LLM が現在すべての言語に最適ではない理由のいくつかについて説明します。
多言語設定でジェネレーティブ LLM を評価するためのフレームワークを作成し、この分野での将来の進歩の方向性を示します。

要約(オリジナル)

Generative AI models have impressive performance on many Natural Language Processing tasks such as language understanding, reasoning and language generation. One of the most important questions that is being asked by the AI community today is about the capabilities and limits of these models, and it is clear that evaluating generative AI is very challenging. Most studies on generative Large Language Models (LLMs) are restricted to English and it is unclear how capable these models are at understanding and generating other languages. We present the first comprehensive benchmarking of generative LLMs – MEGA, which evaluates models on standard NLP benchmarks, covering 8 diverse tasks and 33 typologically diverse languages. We also compare the performance of generative LLMs to State of the Art (SOTA) non-autoregressive models on these tasks to determine how well generative models perform compared to the previous generation of LLMs. We present a thorough analysis of the performance of models across languages and discuss some of the reasons why generative LLMs are currently not optimal for all languages. We create a framework for evaluating generative LLMs in the multilingual setting and provide directions for future progress in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google