Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation

要約

大規模言語モデル (LLM) は、機械翻訳 (MT) のタスク用に明示的にトレーニングされていなくても、プロンプトを介して驚くべき機械翻訳 (MT) 能力を示します。
ただし、トレーニングに使用する信じられないほどの量のデータが与えられたとしても、LLM は入力をまれな単語で翻訳するのに苦労する可能性があります。これは、リソースが少ない場合やドメイン転送のシナリオで一般的です。
二か国語辞書からの事前知識を使用してプロンプトで制御ヒントを提供することにより、LLM プロンプトがまれな単語に対しても効果的なソリューションを提供できることを示します。
入力単語のサブセットに対して一連の可能な翻訳を提供する新しい方法 DiPMT を提案し、それによって LLM のきめ細かいフレーズ レベルのプロンプト制御を可能にします。
広範な実験により、DiPMT は低リソース MT とドメイン外 MT の両方でベースラインよりも優れていることが示されています。
さらに、達成された制御性の全体的なレベルを含む、このアプローチの利点と制限の定性分析を提供します。

要約(オリジナル)

Large language models (LLMs) demonstrate remarkable machine translation (MT) abilities via prompting, even though they were not explicitly trained for this task. However, even given the incredible quantities of data they are trained on, LLMs can struggle to translate inputs with rare words, which are common in low resource or domain transfer scenarios. We show that LLM prompting can provide an effective solution for rare words as well, by using prior knowledge from bilingual dictionaries to provide control hints in the prompts. We propose a novel method, DiPMT, that provides a set of possible translations for a subset of the input words, thereby enabling fine-grained phrase-level prompted control of the LLM. Extensive experiments show that DiPMT outperforms the baseline both in low-resource MT, as well as for out-of-domain MT. We further provide a qualitative analysis of the benefits and limitations of this approach, including the overall level of controllability that is achieved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google