Document-Level Machine Translation with Large Language Models

要約

ChatGPT などの大規模言語モデル (LLM) は、さまざまな自然言語処理 (NLP) タスクに対して、一貫性があり、関連性があり、流暢な回答を生成できます。
この文書では、文書レベルの機械翻訳 (MT) をテストベッドとして取り上げ、談話モデリングにおける LLM の能力を詳細に評価します。
この研究は次の 3 つの側面に焦点を当てています。1) コンテキストを意識したプロンプトの影響。文書レベルの翻訳品質と談話現象に対するさまざまなプロンプトの影響を調査します。
2) 翻訳モデルの比較。ChatGPT の翻訳パフォーマンスを商用 MT システムおよび高度なドキュメントレベルの MT 手法と比較します。
3) 談話モデリング能力の分析。LLM にエンコードされた談話知識をさらに調査し、談話モデリングに対するトレーニング技術の影響を明らかにします。
多くのベンチマークで評価した結果、驚くべきことに、LLM が優れたパフォーマンスを実証し、文書レベルの翻訳の新しいパラダイムとなる可能性を示していることがわかりました。 1) 強力な長文モデリング機能を活用して、GPT-3.5 と GPT-4 が優れたパフォーマンスを発揮します。
人間による評価の観点からの商用 MT システム。
2) GPT-4 は、GPT-3.5 よりも言語知識を調査する強力な能力を示します。
この研究は、MT 向け LLM の課題と機会に焦点を当てており、LLM の将来の設計と評価にインスピレーションを与えることができることを願っています。データと注釈は https://github.com/longyuewangdcu/Document-MT-LLM で公開されています。

要約(オリジナル)

Large language models (LLMs) such as ChatGPT can produce coherent, cohesive, relevant, and fluent answers for various natural language processing (NLP) tasks. Taking document-level machine translation (MT) as a testbed, this paper provides an in-depth evaluation of LLMs’ ability on discourse modeling. The study focuses on three aspects: 1) Effects of Context-Aware Prompts, where we investigate the impact of different prompts on document-level translation quality and discourse phenomena; 2) Comparison of Translation Models, where we compare the translation performance of ChatGPT with commercial MT systems and advanced document-level MT methods; 3) Analysis of Discourse Modelling Abilities, where we further probe discourse knowledge encoded in LLMs and shed light on impacts of training techniques on discourse modeling. By evaluating on a number of benchmarks, we surprisingly find that LLMs have demonstrated superior performance and show potential to become a new paradigm for document-level translation: 1) leveraging their powerful long-text modeling capabilities, GPT-3.5 and GPT-4 outperform commercial MT systems in terms of human evaluation; 2) GPT-4 demonstrates a stronger ability for probing linguistic knowledge than GPT-3.5. This work highlights the challenges and opportunities of LLMs for MT, which we hope can inspire the future design and evaluation of LLMs.We release our data and annotations at https://github.com/longyuewangdcu/Document-MT-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google