MMTE: Corpus and Metrics for Evaluating Machine Translation Quality of Metaphorical Language

要約

機械翻訳 (MT) は、大規模言語モデルのリリース以来急速に発展しており、現在の MT 評価は、人間による参照翻訳との比較、または人間によるラベル付けされたデータからの品質スコアの予測によって実行されています。
ただし、これらの主流の評価方法は主に流暢さと事実の信頼性に重​​点を置き、比喩的な品質にはほとんど注意を払っていません。
この論文では、MT の比喩的な品質を調査し、比喩的な言語の翻訳に焦点を当てた一連の人間の評価指標を提案します。
さらに、事後編集によって生成された多言語の並列メタファー コーパスを提示します。
私たちの評価プロトコルは、MT の 4 つの側面 (比喩的等価性、感情、信頼性、品質) を評価するように設計されています。
そうすることで、比喩的な表現の翻訳が文字通りの表現とは異なる特徴を示していることがわかります。

要約(オリジナル)

Machine Translation (MT) has developed rapidly since the release of Large Language Models and current MT evaluation is performed through comparison with reference human translations or by predicting quality scores from human-labeled data. However, these mainstream evaluation methods mainly focus on fluency and factual reliability, whilst paying little attention to figurative quality. In this paper, we investigate the figurative quality of MT and propose a set of human evaluation metrics focused on the translation of figurative language. We additionally present a multilingual parallel metaphor corpus generated by post-editing. Our evaluation protocol is designed to estimate four aspects of MT: Metaphorical Equivalence, Emotion, Authenticity, and Quality. In doing so, we observe that translations of figurative expressions display different traits from literal ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google