Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis

要約

大規模言語モデル (LLM) は、多言語機械翻訳 (MMT) の処理において顕著な可能性を示しています。
この論文では、次の 2 つの質問に答えることで、MMT における LLM の利点と課題を体系的に調査します。 1) LLM は、大規模な言語の翻訳においてどの程度うまく機能しますか?
2) LLM の翻訳パフォーマンスに影響を与える要因はどれですか?
ChatGPT や GPT-4 など、8 つの人気のある LLM を徹底的に評価します。
私たちの実証結果は、LLM の翻訳能力が継続的に向上していることを示しています。
GPT-4 は、翻訳方向の 40.91% において、強力な教師付きベースライン NLLB を上回っていますが、特に低リソース言語では、商用翻訳システムに対して依然として大きなギャップに直面しています。
さらなる分析を通じて、LLM が MMT に使用されると新しい動作パターンを示すことがわかりました。
まず、コンテキスト内の例が与えられた場合、命令のセマンティクスは驚くほど無視される可能性があります。
第 2 に、言語間の見本は、同じ言語ペアの見本よりも、リソースが少ない翻訳に対して優れたタスク ガイダンスを提供できます。
第三に、LLM はリソース効率の高い方法で翻訳能力を獲得し、リソースがゼロの言語でも適度な翻訳を生成できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable potential in handling multilingual machine translation (MMT). In this paper, we systematically investigate the advantages and challenges of LLMs for MMT by answering two questions: 1) How well do LLMs perform in translating massive languages? 2) Which factors affect LLMs’ performance in translation? We thoroughly evaluate eight popular LLMs, including ChatGPT and GPT-4. Our empirical results show that translation capabilities of LLMs are continually improving. GPT-4 has beat the strong supervised baseline NLLB in 40.91% of translation directions but still faces a large gap towards the commercial translation system, especially on low-resource languages. Through further analysis, we discover that LLMs exhibit new working patterns when used for MMT. First, instruction semantics can surprisingly be ignored when given in-context exemplars. Second, cross-lingual exemplars can provide better task guidance for low-resource translation than exemplars in the same language pairs. Third, LLM can acquire translation ability in a resource-efficient way and generate moderate translation even on zero-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google