Benchmarking LLMs for Translating Classical Chinese Poetry:Evaluating Adequacy, Fluency, and Elegance

要約

大規模言語モデル (LLM) は、一般的な翻訳タスクにおいて顕著なパフォーマンスを示しています。
しかし、適切なだけでなく、流暢でエレガントな高品質の翻訳に対する需要が高まっています。
現在の LLM がこれらの要求にどの程度対応できるかを評価するために、古典的な中国の詩を英語に翻訳するための適切なベンチマークを紹介します。
この作業では、文化的および歴史的に重要な内容を適切に翻訳するだけでなく、言語の流暢さと詩的な優雅さを厳密に遵守する必要があります。
私たちの調査では、既存の LLM ではこの課題が達成できていないことが明らかになりました。
これらの問題に対処するために、古典詩に関連する知識を組み込むことによって翻訳プロセスを強化する \textbf{R}etrieval-\textbf{A}ugmented machine \textbf{T}translation 手法である RAT を提案します。
さらに、GPT-4 に基づく自動評価指標を提案します。これは、従来の指標の制限を克服し、適切性、流暢さ、優雅さの観点から翻訳の品質をより適切に評価します。
データセットとコードが利用可能になります。

要約(オリジナル)

Large language models (LLMs) have shown remarkable performance in general translation tasks. However, the increasing demand for high-quality translations that are not only adequate but also fluent and elegant. To assess the extent to which current LLMs can meet these demands, we introduce a suitable benchmark for translating classical Chinese poetry into English. This task requires not only adequacy in translating culturally and historically significant content but also a strict adherence to linguistic fluency and poetic elegance. Our study reveals that existing LLMs fall short of this task. To address these issues, we propose RAT, a \textbf{R}etrieval-\textbf{A}ugmented machine \textbf{T}ranslation method that enhances the translation process by incorporating knowledge related to classical poetry. Additionally, we propose an automatic evaluation metric based on GPT-4, which better assesses translation quality in terms of adequacy, fluency, and elegance, overcoming the limitations of traditional metrics. Our dataset and code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google