Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations

要約

機械翻訳 (MT) は、大規模言語モデル (LLM) が専用の教師ありシステムにまだ置き換えられていない最後の NLP タスクの 1 つです。
この研究では、多次元品質メトリック (MQM) アノテーションから得られる品質に関する外部フィードバックを使用して MT を自動的に後編集するように LLM を誘導することで、LLM と教師あり MT の補完的な長所を活用します。
LLaMA-2 モデルを使用して、提供されるフィードバックの性質を変えるプロンプト戦略を検討し、提供されたガイダンスを活用する能力を向上させるために LLM を微調整します。
中国語-英語、英語-ドイツ語、英語-ロシア語の MQM データの実験を通じて、LLM に MT の後編集を促すと、TER、BLEU、COMET スコアが向上することを実証しましたが、きめ細かいフィードバックの利点は明らかではありません。
微調整により、きめ細かいフィードバックをより効果的に統合でき、自動評価と人間による評価の両方に基づいて翻訳品質がさらに向上します。

要約(オリジナル)

Machine Translation (MT) remains one of the last NLP tasks where large language models (LLMs) have not yet replaced dedicated supervised systems. This work exploits the complementary strengths of LLMs and supervised MT by guiding LLMs to automatically post-edit MT with external feedback on its quality, derived from Multidimensional Quality Metric (MQM) annotations. Working with LLaMA-2 models, we consider prompting strategies varying the nature of feedback provided and then fine-tune the LLM to improve its ability to exploit the provided guidance. Through experiments on Chinese-English, English-German, and English-Russian MQM data, we demonstrate that prompting LLMs to post-edit MT improves TER, BLEU and COMET scores, although the benefits of fine-grained feedback are not clear. Fine-tuning helps integrate fine-grained feedback more effectively and further improves translation quality based on both automatic and human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google