NLEBench+NorGLM: A Comprehensive Empirical Analysis and Benchmark Dataset for Generative Language Models in Norwegian

要約

ノルウェー語はわずか 500 万人の人口で話されていますが、NLP タスクにおける最も印象的な進歩の中で代表者としては過小評価されています。
私たちの知る限り、記事執筆プロセスにおけるノルウェー語生成タスクに関する既存の言語モデル (LM) の包括的な評価はまだ行われていません。
このギャップを埋めるために、1) 既存のノルウェー語データセットをコンパイルし、パラメーター スケールやアーキテクチャーが異なる 4 つのノルウェー語オープン言語モデル (総称して NorGLM と呼ばれます) を事前トレーニングしました。
2) 翻訳と人間による注釈を含む、ノルウェー語の自然言語生成機能を評価するための包括的なベンチマーク NLEBench を導入しました。
調査に基づいて、次のことがわかりました。1) 英国が主流の主流の LM GPT-3.5 は、ノルウェーの文脈を理解する能力が限られています。
2) モデルパラメータスケールの増加は、事前トレーニングデータセットのサイズが制限されている場合、下流タスクのパフォーマンスへの影響が限定的であることを示しています。
3) より小さなモデルも、思考連鎖による推論能力を実証します。
4) 相乗効果タスクを含むマルチタスク データセットを使用して、自然言語理解に関する LLM の一般化可能性を検証し、同時にこれらの NLP タスクの相互接続性をテストできます。
再現性を高めるために、CC BY-NC 4.0 ライセンスに基づいてリソースとコードを共有します。

要約(オリジナル)

Norwegian, spoken by only 5 million population, is under-representative within the most impressive breakthroughs in NLP tasks. To the best of our knowledge, there has not yet been a comprehensive evaluation of the existing language models (LMs) on Norwegian generation tasks during the article writing process. To fill this gap, we 1) compiled the existing Norwegian dataset and pre-trained 4 Norwegian Open Language Models varied from parameter scales and architectures, collectively called NorGLM; 2) introduced a comprehensive benchmark, NLEBench, for evaluating natural language generation capabilities in Norwegian, encompassing translation and human annotation. Based on the investigation, we find that: 1) the mainstream, English-dominated LM GPT-3.5 has limited capability in understanding the Norwegian context; 2) the increase in model parameter scales demonstrates limited impact on the performance of downstream tasks when the pre-training dataset is constrained in size; 3) smaller models also demonstrate the reasoning capability through Chain-of-Thought; 4) a multi-task dataset that includes synergy tasks can be used to verify the generalizability of LLMs on natural language understanding and, meanwhile, test the interconnectedness of these NLP tasks. We share our resources and code for reproducibility under a CC BY-NC 4.0 license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google