Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis

要約

大規模言語モデル (LLM) は、多言語機械翻訳 (MMT) の処理において顕著な可能性を示しています。
この論文では、次の 2 つの質問に答えることで、MMT における LLM の利点と課題を体系的に調査します。 1) LLM は、大規模な言語の翻訳においてどの程度うまく機能しますか?
2) LLM の翻訳パフォーマンスに影響を与える要因はどれですか?
ChatGPT や GPT-4 など、8 つの人気のある LLM を徹底的に評価します。
私たちの経験的結果は、LLM の翻訳機能が継続的に関与していることを示しています。
GPT-4 は、翻訳方向の 40.91% において、強力な教師ありベースライン NLLB を上回っていますが、特に低リソース言語では、Google 翻訳のような商用翻訳システムに対して依然として大きなギャップに直面しています。
さらなる分析を通じて、LLM が MMT に使用されると新しい動作パターンを示すことがわかりました。
まず、LLM はリソース効率の高い方法で翻訳能力を獲得し、リソースがゼロの言語でも適度な翻訳を生成できます。
第 2 に、コンテキスト内の例が与えられた場合、命令のセマンティクスは驚くほど無視される可能性があります。
第三に、複数言語の見本は、同じ言語ペアの見本よりも、低リソースの翻訳に対して優れたタスク ガイダンスを提供できます。
コードは https://github.com/NJUNLP/MMT-LLM でリリースされます。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable potential in handling multilingual machine translation (MMT). In this paper, we systematically investigate the advantages and challenges of LLMs for MMT by answering two questions: 1) How well do LLMs perform in translating massive languages? 2) Which factors affect LLMs’ performance in translation? We thoroughly evaluate eight popular LLMs, including ChatGPT and GPT-4. Our empirical results show that translation capabilities of LLMs are continually involving. GPT-4 has beat the strong supervised baseline NLLB in 40.91% of translation directions but still faces a large gap towards the commercial translation system like Google Translate, especially on low-resource languages. Through further analysis, we discover that LLMs exhibit new working patterns when used for MMT. First, LLM can acquire translation ability in a resource-efficient way and generate moderate translation even on zero-resource languages. Second, instruction semantics can surprisingly be ignored when given in-context exemplars. Third, cross-lingual exemplars can provide better task guidance for low-resource translation than exemplars in the same language pairs. Code will be released at: https://github.com/NJUNLP/MMT-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google