Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models

要約

大規模言語モデル (LLM) は、強力な多言語機能を実証しています。
しかし、トレーニングコーパスのバランスが崩れているため、ほとんどが英語中心になっています。
既存の作品は、この現象を利用して、NLP タスクの多言語パフォーマンスを向上させています。
この作業では、NLP タスクから実際のユーザー クエリまで評価を拡張します。
英語への翻訳は、英語中心の LLM の多言語 NLP タスクのパフォーマンスの向上には役立ちますが、すべてのシナリオに最適であるとは限らないことがわかりました。
深い言語理解が必要な文化関連のタスクの場合、母国語でプロンプトを表示すると、文化や言語に関連するニュアンスを捉えることができるため、より有望であることがわかります。
したがって、私たちは、単に英語中心の LLM ではなく、強力な多言語 LLM の開発に向けてさらに努力することを提唱します。

要約(オリジナル)

Large language models (LLMs) have demonstrated strong multilingual capabilities; yet, they are mostly English-centric due to the imbalanced training corpora. Existing works leverage this phenomenon to improve their multilingual performances on NLP tasks. In this work, we extend the evaluation from NLP tasks to real user queries. We find that even though translation into English can help improve the performance of multilingual NLP tasks for English-centric LLMs, it may not be optimal for all scenarios. For culture-related tasks that need deep language understanding, prompting in the native language proves to be more promising since it can capture the nuances related to culture and language. Therefore, we advocate for more efforts towards the development of strong multilingual LLMs instead of just English-centric LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google