Do Multilingual Language Models Think Better in English?

要約

翻訳テストは、多言語言語モデルのパフォーマンスを向上させるための一般的な手法です。
このアプローチは、外部の機械翻訳システムを使用して入力を英語に翻訳し、翻訳された入力に対して推論を実行することによって機能します。
ただし、これらの改善は、通常、言語モデルでは認識できない大量の並列データでトレーニングされる別の翻訳システムの使用に起因すると考えられます。
この研究では、自己翻訳と呼ばれる新しいアプローチを導入します。これは、多言語言語モデルの数ショット翻訳機能を活用することで、外部翻訳システムの必要性を克服します。
5 つのタスクにわたる実験では、自己翻訳が一貫して直接推論を上回るパフォーマンスを示し、英語以外の言語でプロンプトが表示された場合、言語モデルがその多言語の可能性を最大限に活用できないことを示しています。
私たちのコードは https://github.com/juletx/self-translate で入手できます。

要約(オリジナル)

Translate-test is a popular technique to improve the performance of multilingual language models. This approach works by translating the input into English using an external machine translation system, and running inference over the translated input. However, these improvements can be attributed to the use of a separate translation system, which is typically trained on large amounts of parallel data not seen by the language model. In this work, we introduce a new approach called self-translate, which overcomes the need of an external translation system by leveraging the few-shot translation capabilities of multilingual language models. Experiments over 5 tasks show that self-translate consistently outperforms direct inference, demonstrating that language models are unable to leverage their full multilingual potential when prompted in non-English languages. Our code is available at https://github.com/juletx/self-translate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google