Improving LLM-based Machine Translation with Systematic Self-Correction

要約

大規模言語モデル (LLM) は、機械翻訳 (MT) において目覚ましい成果を上げています。
しかし、人間による慎重な評価により、LLM によって生成された翻訳には依然として複数のエラーが含まれていることが判明しました。
重要なのは、このようなエラー情報を LLM にフィードバックすると、自己修正が行われ、翻訳パフォーマンスが向上する可能性があることです。
これらの洞察に動機付けられて、私たちは、翻訳、推定、および調整の頭文字をとった TER と呼ばれる、体系的な LLM ベースの自己修正翻訳フレームワークを導入し、この方向への重要な前進を示します。
私たちの調査結果は、1) 私たちの自己修正フレームワークは、高リソース言語から低リソース言語まで、または英語中心か他の言語中心かにかかわらず、LLM が幅広い言語にわたって翻訳品質を向上させるのに成功していることを示しています。
2) TER は、以前の方法と比較して優れた体系性と解釈可能性を示します。
3) 異なる推定戦略は AI フィードバックにさまざまな影響を与え、最終的な修正の有効性に直接影響します。
さらに、さまざまな LLM を比較し、自己修正とクロスモデル修正を含むさまざまな実験を行って、LLM の翻訳と評価機能の間の潜在的な関係を調査します。

要約(オリジナル)

Large Language Models (LLMs) have achieved impressive results in Machine Translation (MT). However, careful evaluations by human reveal that the translations produced by LLMs still contain multiple errors. Importantly, feeding back such error information into the LLMs can lead to self-correction and result in improved translation performance. Motivated by these insights, we introduce a systematic LLM-based self-correcting translation framework, named TER, which stands for Translate, Estimate, and Refine, marking a significant step forward in this direction. Our findings demonstrate that 1) our self-correction framework successfully assists LLMs in improving their translation quality across a wide range of languages, whether it’s from high-resource languages to low-resource ones or whether it’s English-centric or centered around other languages; 2) TER exhibits superior systematicity and interpretability compared to previous methods; 3) different estimation strategies yield varied impacts on AI feedback, directly affecting the effectiveness of the final corrections. We further compare different LLMs and conduct various experiments involving self-correction and cross-model correction to investigate the potential relationship between the translation and evaluation capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google