Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions

要約

機械翻訳用の既存の大規模言語モデル (LLM) は通常、文レベルの翻訳命令に基づいて微調整されており、文レベルで満足のいくパフォーマンスを実現します。
ただし、これらのモデルをドキュメント レベルの翻訳に適用すると、特に 512 を超えるトークンを含むドキュメントを処理する場合に大きな課題に直面します。
この課題は、文書内の後続の文が翻訳されないままになる、文レベルの適用範囲の問題から生じます。
その結果、文レベルの翻訳命令に基づいて微調整された LLM の文書レベルの翻訳能力は大幅に制限されます。
LLM の文書レベルの翻訳パフォーマンスが低い主な原因は、文書から文書へのマッピング機能がないことであると推測しています。
この問題に対処するために、さまざまな長さの文レベルと文書レベルの翻訳命令を組み合わせて LLM を微調整するアプローチを提案します。
私たちが提案する翻訳混合命令により、LLM (Llama-2~7B および 13B) は文レベルから 2048 ものトークンを含む文書まで一貫した翻訳パフォーマンスを維持できます。
広範な実験結果は、提案されたアプローチが 10 の言語ペアにおける LLM の文書レベルの翻訳機能を大幅に強化し、文書レベルの翻訳における文レベルのカバレッジの問題を効果的に軽減することを示しています。
談話現象に関する実験により、文書レベルの翻訳アプローチにより、BLEU スコアと談話の一貫性の両方の点で翻訳品質が大幅に向上することが実証されました。

要約(オリジナル)

Existing large language models (LLMs) for machine translation are typically fine-tuned on sentence-level translation instructions and achieve satisfactory performance at the sentence level. However, when applied to document-level translation, these models face a significant challenge, particularly when dealing with documents containing over 512 tokens. This challenge arises from the issue of sentence-level coverage, where subsequent sentences in the document remain untranslated. As a result, the document-level translation capability of LLMs fine-tuned on sentence-level translation instructions is significantly limited. We conjecture that the primary cause of LLMs’ weak document-level translation performance is the absence of document-to-document mapping ability. To address the issue, we propose an approach that combines sentence-level and document-level translation instructions of varying lengths to fine-tune LLMs. Our proposed translation mixed-instructions enable LLMs (Llama-2~7B and 13B) to maintain consistent translation performance from the sentence level to documents containing as many as 2048 tokens. Extensive experimental results show that the proposed approach significantly enhances the document-level translation capabilities of LLMs on 10 language pairs, effectively mitigating the sentence-level coverage issue in document-level translation. Experimentation on discourse phenomena has demonstrated that our document-level translation approach significantly improves translation quality, both in terms of BLEU score and discourse coherence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google