BHASA: A Holistic Southeast Asian Linguistic and Cultural Evaluation Suite for Large Language Models

要約

大規模言語モデル (LLM) の急速な発展と、規模に応じた新しい機能の出現により、HELM や BIG ベンチなどの総合的で多様かつ挑戦的なベンチマークの構築が必要になりました。
ただし、現時点では、これらのベンチマークのほとんどは英語でのパフォーマンスのみに焦点を当てており、東南アジア (SEA) 言語を含めた評価は少数です。
したがって、我々は、SEA 言語の LLM のための総合的な言語的および文化的評価スイートである BHASA を提案します。
これは 3 つのコンポーネントで構成されます: (1) 自然言語理解 (NLU)、生成 (NLG)、および推論 (NLR) タスクにわたる 8 つのタスクをカバーする NLP ベンチマーク、(2) LINDSEA、以下を含む言語現象の全範囲にわたる言語診断ツールキット
構文、意味論、語用論、そして (3) 文化的表現と感受性の両方を調査する文化診断データセット。
この予備的な取り組みでは、インドネシア語、ベトナム語、タイ語、タミル語のみに対して NLP ベンチマークを実装し、LINDSEA と文化診断データセットにはインドネシア語とタミル語のみを含めます。
GPT-4 は、現時点で最もパフォーマンスの高い多言語 LLM の 1 つであると言われているため、SEA 言語のコンテキストにおける LLM の機能を評価するための基準として GPT-4 を使用します。
BHASA との GPT-4 に関する最初の実験では、対象の SEA 言語における言語能力、文化的表現、感性のさまざまな側面が欠けていることが判明しました。
BHASA は進行中の作業であり、今後も改善と拡張が続けられる予定です。

要約(オリジナル)

The rapid development of Large Language Models (LLMs) and the emergence of novel abilities with scale have necessitated the construction of holistic, diverse and challenging benchmarks such as HELM and BIG-bench. However, at the moment, most of these benchmarks focus only on performance in English and evaluations that include Southeast Asian (SEA) languages are few in number. We therefore propose BHASA, a holistic linguistic and cultural evaluation suite for LLMs in SEA languages. It comprises three components: (1) a NLP benchmark covering eight tasks across Natural Language Understanding (NLU), Generation (NLG) and Reasoning (NLR) tasks, (2) LINDSEA, a linguistic diagnostic toolkit that spans the gamut of linguistic phenomena including syntax, semantics and pragmatics, and (3) a cultural diagnostics dataset that probes for both cultural representation and sensitivity. For this preliminary effort, we implement the NLP benchmark only for Indonesian, Vietnamese, Thai and Tamil, and we only include Indonesian and Tamil for LINDSEA and the cultural diagnostics dataset. As GPT-4 is purportedly one of the best-performing multilingual LLMs at the moment, we use it as a yardstick to gauge the capabilities of LLMs in the context of SEA languages. Our initial experiments on GPT-4 with BHASA find it lacking in various aspects of linguistic capabilities, cultural representation and sensitivity in the targeted SEA languages. BHASA is a work in progress and will continue to be improved and expanded in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google