The Roles of English in Evaluating Multilingual Language Models

要約

多言語自然言語処理はますます注目を集めており、多くの言語向けに多数のモデル、ベンチマーク、メソッドがリリースされています。
英語は、主に他の言語での命令調整データの不足を克服するために、言語モデル (LM) を促すための多言語評価でよく使用されます。
このポジションペーパーでは、多言語 LM 評価における英語の 2 つの役割、つまりインターフェースとしての役割と自然言語としての英語について説明します。
私たちは、これらの役割には、タスクの実行と言語理解という異なる目標があると主張します。
この矛盾は、データセットと評価設定の例で強調されます。
多くの作品では、タスクのパフォーマンスを向上させるためのインターフェースとして英語を明示的に使用しています。
この不正確な方法から離れ、代わりに言語理解を促進することに重点を置くことをお勧めします。

要約(オリジナル)

Multilingual natural language processing is getting increased attention, with numerous models, benchmarks, and methods being released for many languages. English is often used in multilingual evaluation to prompt language models (LMs), mainly to overcome the lack of instruction tuning data in other languages. In this position paper, we lay out two roles of English in multilingual LM evaluations: as an interface and as a natural language. We argue that these roles have different goals: task performance versus language understanding. This discrepancy is highlighted with examples from datasets and evaluation setups. Numerous works explicitly use English as an interface to boost task performance. We recommend to move away from this imprecise method and instead focus on furthering language understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google