Proverbs Run in Pairs: Evaluating Proverb Translation Capability of Large Language Model

要約

機械翻訳 (MT) の研究は、目覚ましい成果を上げているにもかかわらず、慣用句、ことわざ、口語表現など、言語の文化的要素の翻訳に関しては依然として十分に研究されていません。
この論文では、文化的背景に深く根ざしていることわざを翻訳する際の、最先端のニューラル機械翻訳 (NMT) と大規模言語モデル (LLM) の能力を調査します。
4 つの言語ペアのスタンドアロンのことわざと会話の中のことわざの翻訳データセットを構築します。
私たちの実験では、研究したモデルが類似した文化的背景を持つ言語間で良好な翻訳を達成できること、およびことわざの翻訳では一般に LLM が NMT モデルよりも優れていることが示されました。
さらに、BLEU、CHRF++、COMET などの現在の自動評価指標は、ことわざ翻訳の品質を確実に評価するには不十分であることがわかり、より文化を意識した評価指標の必要性が強調されています。

要約(オリジナル)

Despite achieving remarkable performance, machine translation (MT) research remains underexplored in terms of translating cultural elements in languages, such as idioms, proverbs, and colloquial expressions. This paper investigates the capability of state-of-the-art neural machine translation (NMT) and large language models (LLMs) in translating proverbs, which are deeply rooted in cultural contexts. We construct a translation dataset of standalone proverbs and proverbs in conversation for four language pairs. Our experiments show that the studied models can achieve good translation between languages with similar cultural backgrounds, and LLMs generally outperform NMT models in proverb translation. Furthermore, we find that current automatic evaluation metrics such as BLEU, CHRF++ and COMET are inadequate for reliably assessing the quality of proverb translation, highlighting the need for more culturally aware evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google