TasTe: Teaching Large Language Models to Translate through Self-Reflection

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理タスクで顕著なパフォーマンスを示しています。
命令チューニングなどの技術により、機械翻訳の下流タスクにおける LLM の習熟度が効果的に向上しました。
ただし、既存のアプローチでは、教師ありニューラル機械翻訳 (NMT) システムの品質に匹敵する満足のいく翻訳出力を生成できません。
この矛盾のもっともらしい説明の 1 つは、これらの方法論で採用されている単純なプロンプトでは、獲得した指示に従う能力を十分に活用できないということです。
この目的を達成するために、私たちは TasTe フレームワークを提案します。TasTe フレームワークは、内省を通じて翻訳することを意味します。
内省のプロセスには 2 つの推論段階が含まれます。
最初の段階では、LLM は予備翻訳を生成し、同時にこれらの翻訳に対して自己評価を行うように指示されます。
第 2 段階では、LLM は評価結果に従ってこれらの予備翻訳を改良する任務を負います。
WMT22 ベンチマークにおける 4 つの言語方向の評価結果は、既存の手法と比較した場合のアプローチの有効性を明らかにしています。
私たちの研究は、LLM の可能性を解き放ち、MT における機能を強化するための有望なアプローチを示しています。
コードとデータセットは、https://github.com/YutongWang1216/ReflectionLLMMT でオープンソース化されています。

要約(オリジナル)

Large language models (LLMs) have exhibited remarkable performance in various natural language processing tasks. Techniques like instruction tuning have effectively enhanced the proficiency of LLMs in the downstream task of machine translation. However, the existing approaches fail to yield satisfactory translation outputs that match the quality of supervised neural machine translation (NMT) systems. One plausible explanation for this discrepancy is that the straightforward prompts employed in these methodologies are unable to fully exploit the acquired instruction-following capabilities. To this end, we propose the TasTe framework, which stands for translating through self-reflection. The self-reflection process includes two stages of inference. In the first stage, LLMs are instructed to generate preliminary translations and conduct self-assessments on these translations simultaneously. In the second stage, LLMs are tasked to refine these preliminary translations according to the evaluation results. The evaluation results in four language directions on the WMT22 benchmark reveal the effectiveness of our approach compared to existing methods. Our work presents a promising approach to unleash the potential of LLMs and enhance their capabilities in MT. The codes and datasets are open-sourced at https://github.com/YutongWang1216/ReflectionLLMMT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google