Analysis of Indic Language Capabilities in LLMs

要約

このレポートは、インド言語を理解して生成するためのテキストインテキストアウト大規模言語モデル (LLM) のパフォーマンスを評価します。
この評価は、安全性ベンチマークに含めるのに適したインド言語を特定し、優先順位を付けるために使用されます。
私たちは既存の評価研究とデータセットをレビューすることによってこの研究を実施します。
インド言語をサポートする 28 個の LLM のセット。
私たちは、トレーニング データ、モデルとデータのライセンス、アクセスの種類、モデル開発者に基づいて LLM を分析します。
また、評価データセット間でインド語言語のパフォーマンスを比較したところ、インド語言語間でパフォーマンスに大きな差異があることがわかりました。
ヒンディー語はモデルで最も広く表現されている言語です。
モデルのパフォーマンスは上位 5 言語の話者の数とほぼ相関していますが、その後の評価は異なります。

要約(オリジナル)

This report evaluates the performance of text-in text-out Large Language Models (LLMs) to understand and generate Indic languages. This evaluation is used to identify and prioritize Indic languages suited for inclusion in safety benchmarks. We conduct this study by reviewing existing evaluation studies and datasets; and a set of twenty-eight LLMs that support Indic languages. We analyze the LLMs on the basis of the training data, license for model and data, type of access and model developers. We also compare Indic language performance across evaluation datasets and find that significant performance disparities in performance across Indic languages. Hindi is the most widely represented language in models. While model performance roughly correlates with number of speakers for the top five languages, the assessment after that varies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google