Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models

要約

大規模な言語モデル（LLM）は多言語機能を実証していますが、不均衡なトレーニングコーパスのためにほとんど英語中心です。
以前の作品はこのバイアスを活用して翻訳を通じて多言語のパフォーマンスを向上させましたが、それらは主に自然言語処理（NLP）タスクに限定されています。
この作業では、評価を実際のユーザークエリと非英語中心のLLMSに拡張し、多言語のパフォーマンスをより広く検査します。
私たちの重要な貢献は、英語への翻訳がNLPタスクでの英語中心のLLMのパフォーマンスを高めることができるが、それは普遍的に最適ではないことを実証することにあります。
深い言語の理解を必要とする文化関連のタスクの場合、母国語で促すことは、文化と言語のニュアンスをよりよく捉えるため、より効果的であることがわかります。
私たちの実験は、多言語のコンテキストでLLMSおよびタスク全体でさまざまな動作を暴露し、多言語評価に対するより包括的なアプローチの必要性を強調しています。
したがって、英語中心のパラダイムを超えるLLMの開発と評価におけるより大きな努力を求めています。

要約(オリジナル)

Large language models (LLMs) have demonstrated multilingual capabilities, yet they are mostly English-centric due to the imbalanced training corpora. While prior works have leveraged this bias to enhance multilingual performance through translation, they have been largely limited to natural language processing (NLP) tasks. In this work, we extend the evaluation to real-world user queries and non-English-centric LLMs, offering a broader examination of multilingual performance. Our key contribution lies in demonstrating that while translation into English can boost the performance of English-centric LLMs on NLP tasks, it is not universally optimal. For culture-related tasks that need deep language understanding, prompting in the native language proves more effective as it better captures the nuances of culture and language. Our experiments expose varied behaviors across LLMs and tasks in the multilingual context, underscoring the need for a more comprehensive approach to multilingual evaluation. Therefore, we call for greater efforts in developing and evaluating LLMs that go beyond English-centric paradigms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google