Linguini: A benchmark for language-agnostic linguistic reasoning

要約

既存の言語固有の知識に依存せずに、言語モデルの言語推論スキルを測定するための新しいベンチマークを提案します。
このテストは、国際言語オリンピック コーパスから抽出された、(ほとんどが) リソースが非常に少ない 75 言語にわたる 160 の問題にグループ化された 894 の質問を対象としています。
このベンチマークで高い精度を達成するために、言語パズルを解くために必要なすべての情報がコンテキスト内に提示されるため、モデルはテスト対象言語に関する事前の知識を必要としません。
分析されたすべてのモデルの精度は 25% 未満ですが、オープン モデルとクローズド モデルの間には大きな差があり、最もパフォーマンスの高い独自モデルは 24.05%、最もパフォーマンスの高いオープン モデルは 8.84% であることがわかりました。

要約(オリジナル)

We propose a new benchmark to measure a language model’s linguistic reasoning skills without relying on pre-existing language-specific knowledge. The test covers 894 questions grouped in 160 problems across 75 (mostly) extremely low-resource languages, extracted from the International Linguistic Olympiad corpus. To attain high accuracy on this benchmark, models don’t need previous knowledge of the tested language, as all the information needed to solve the linguistic puzzle is presented in the context. We find that, while all analyzed models rank below 25% accuracy, there is a significant gap between open and closed models, with the best-performing proprietary model at 24.05% and the best-performing open model at 8.84%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google