Context-Aware or Context-Insensitive? Assessing LLMs’ Performance in Document-Level Translation

要約

大規模な言語モデル（LLM）は、機械翻訳においてますます強い候補です。
この作業では、文書レベルの翻訳に焦点を当てます。ここでは、文の外部からのコンテキストなしにいくつかの単語を翻訳できません。
具体的には、摂動分析（摂動および無作為化ドキュメントコンテキストに対するモデルの堅牢性を分析する）と帰属分析（翻訳への関連するコンテキストの寄与を調べる）を介して翻訳中にドキュメントコンテキストを利用する顕著なLLMの能力を調査します。
多様なモデルファミリから9つのLLMにわたって広範な評価を実施し、2つのエンコーダーデコーダートランスベースラインとともに、翻訳専用のLLMを含むトレーニングパラダイムを実施しています。
Encoder-Decoderモデルと比較して、LLMSのドキュメント翻訳性能の改善は、代名詞翻訳性能に反映されていないことがわかります。
私たちの分析は、文書レベルの翻訳の信頼性を向上させるために、コンテキストの関連部分に焦点を当てて、LLMのコンテキストを意識する微調整の必要性を強調しています。

要約(オリジナル)

Large language models (LLMs) are increasingly strong contenders in machine translation. In this work, we focus on document-level translation, where some words cannot be translated without context from outside the sentence. Specifically, we investigate the ability of prominent LLMs to utilize the document context during translation through a perturbation analysis (analyzing models’ robustness to perturbed and randomized document context) and an attribution analysis (examining the contribution of relevant context to the translation). We conduct an extensive evaluation across nine LLMs from diverse model families and training paradigms, including translation-specialized LLMs, alongside two encoder-decoder transformer baselines. We find that LLMs’ improved document-translation performance compared to encoder-decoder models is not reflected in pronoun translation performance. Our analysis highlight the need for context-aware finetuning of LLMs with a focus on relevant parts of the context to improve their reliability for document-level translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google