Large Language Models for Classical Chinese Poetry Translation: Benchmarking, Evaluating, and Improving

要約

伝統的な翻訳作業とは異なり、漢詩の翻訳には、文化的および歴史的に重要な内容と言語的な詩的優雅さを翻訳する際の適切性と流暢性の両方が必要です。
優れた多言語機能を備えた大規模言語モデル (LLM) は、この極端な翻訳需要を達成する希望の光をもたらす可能性があります。
この論文ではまず、各漢詩に認められた洗練された翻訳がある適切なベンチマーク (PoetMT) を紹介します。
一方、現在のLLMがこれらの要求をどの程度満たせるかを評価するために、GPT-4に基づく新しい指標を提案します。
私たちの経験的評価により、既存の LLM はこの困難な課題において不十分であることが明らかになりました。
そこで、LLM における漢詩の翻訳を進めるために、古典詩に関連する知識を組み込んだ検索拡張機械翻訳 (RAT) 手法を提案します。
実験結果は、RAT が、広く使用されている BLEU、COMET、BLEURT、私たちが提案した指標、および人間の評価に関するすべての比較方法を一貫して上回ることを示しています。

要約(オリジナル)

Different from the traditional translation tasks, classical Chinese poetry translation requires both adequacy and fluency in translating culturally and historically significant content and linguistic poetic elegance. Large language models (LLMs) with impressive multilingual capabilities may bring a ray of hope to achieve this extreme translation demand. This paper first introduces a suitable benchmark (PoetMT) where each Chinese poetry has a recognized elegant translation. Meanwhile, we propose a new metric based on GPT-4 to evaluate the extent to which current LLMs can meet these demands. Our empirical evaluation reveals that the existing LLMs fall short in the challenging task. Hence, we propose a Retrieval-Augmented Machine Translation (RAT) method which incorporates knowledge related to classical poetry for advancing the translation of Chinese Poetry in LLMs. Experimental results show that RAT consistently outperforms all comparison methods regarding wildly used BLEU, COMET, BLEURT, our proposed metric, and human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google