Beyond English: The Impact of Prompt Translation Strategies across Languages and Tasks in Multilingual LLMs

要約

多様なタスクにわたる大規模な言語モデル（LLMS）の多言語機能の進歩にもかかわらず、英語はLLMの研究開発にとって支配的な言語のままです。
したがって、別の言語で作業するとき、これにより、事前翻訳の広範な実践、つまり、推論の前にタスクプロンプトを英語に変換することにつながりました。
より外科的アプローチである選択的前翻訳は、特定のプロンプトコンポーネントの翻訳に焦点を当てています。
ただし、現在の使用は散発的であり、体系的な研究基盤がありません。
その結果、さまざまな多言語設定とタスクの最適な翻訳戦略は不明のままです。
この作業では、その使用を体系的に評価することにより、翻訳前の最適なセットアップを明らかにすることを目指しています。
具体的には、プロンプトをモジュラーエンティティと見なします。これは、命令、コンテキスト、例、および出力の4つの機能部品で構成されています。どちらかを翻訳するかどうか。
質問応答（QA）、自然言語推論（NLI）、名前付きエンティティ認識（NER）、抽象的要約など、さまざまなタスクについて、低リソースと高リソースの両方の言語をカバーする35の言語にわたって翻訳前戦略を評価します。
私たちの実験は、事前翻訳によるモデルのパフォーマンスに対する英語、翻訳品質、事前訓練されたデータのサイズとの類似性としての要因の影響を示しています。
さまざまな多言語設定で最適な戦略を選択するための実用的なガイドラインを提案します。

要約(オリジナル)

Despite advances in the multilingual capabilities of Large Language Models (LLMs) across diverse tasks, English remains the dominant language for LLM research and development. So, when working with a different language, this has led to the widespread practice of pre-translation, i.e., translating the task prompt into English before inference. Selective pre-translation, a more surgical approach, focuses on translating specific prompt components. However, its current use is sporagic and lacks a systematic research foundation. Consequently, the optimal pre-translation strategy for various multilingual settings and tasks remains unclear. In this work, we aim to uncover the optimal setup for pre-translation by systematically assessing its use. Specifically, we view the prompt as a modular entity, composed of four functional parts: instruction, context, examples, and output, either of which could be translated or not. We evaluate pre-translation strategies across 35 languages covering both low and high-resource languages, on various tasks including Question Answering (QA), Natural Language Inference (NLI), Named Entity Recognition (NER), and Abstractive Summarization. Our experiments show the impact of factors as similarity to English, translation quality and the size of pre-trained data, on the model performance with pre-translation. We suggest practical guidelines for choosing optimal strategies in various multilingual settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google