On-the-Fly Fusion of Large Language Models and Machine Translation

要約

私たちは、同じタスクと入力に応じて、LLM を使用した機械翻訳モデルのオンザフライ アンサンブルを提案します。
データ量を変えて 4 つの言語ペア (双方向) で実験を実行します。
わずかに弱い翻訳時 LLM は NMT モデルの翻訳を向上させることができ、LLM を使用したアンサンブルは 2 つのより強力な MT モデルをアンサンブルするよりも優れた翻訳を生成できることがわかりました。
私たちは、コンテキスト学習や翻訳コンテキストなど、LLM プロンプトのさまざまな手法とこの方法を組み合わせます。

要約(オリジナル)

We propose the on-the-fly ensembling of a machine translation model with an LLM, prompted on the same task and input. We perform experiments on 4 language pairs (both directions) with varying data amounts. We find that a slightly weaker-at-translation LLM can improve translations of a NMT model, and ensembling with an LLM can produce better translations than ensembling two stronger MT models. We combine our method with various techniques from LLM prompting, such as in context learning and translation context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google