Iterative Translation Refinement with Large Language Models

要約

大規模な言語モデルは、命令の理解と自然言語タスクの実行において驚くべきパフォーマンスを示しました。
この論文では、より自然な翻訳とポストエディットのために大規模な言語モデルの力を活用する、反復的な翻訳の改良を提案します。
大規模な言語モデルを反復プロセスに組み込むだけで、単なる翻訳を超えて出力品質が向上することを示します。
GPT-3.5 を使用した広範なテスト シナリオでは、反復によって文字列ベースのメトリクス スコアが低下するものの、ニューラル メトリクスは、翻訳品質が改善されないにしても同等であることを示していることが明らかになりました。
さらに、人による評価では、特に英語への方向の場合、最初の GPT 翻訳や人による参照と比較して、私たちの方法で翻訳語が効果的に削減されることが実証されています。
アブレーション研究は、洗練プロセスをソース入力と合理的な初期翻訳に固定することの重要性を強調しています。

要約(オリジナル)

Large language models have shown surprising performances in understanding instructions and performing natural language tasks. In this paper, we propose iterative translation refinement to leverage the power of large language models for more natural translation and post-editing. We show that by simply involving a large language model in an iterative process, the output quality improves beyond mere translation. Extensive test scenarios with GPT-3.5 reveal that although iterations reduce string-based metric scores, neural metrics indicate comparable if not improved translation quality. Further, human evaluations demonstrate that our method effectively reduces translationese compared to initial GPT translations and even human references, especially for into-English directions. Ablation studies underscore the importance of anchoring the refinement process to the source input and a reasonable initial translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google