xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection

要約

COMET や BLEURT など、機械翻訳の評価に広く使用されている学習指標は、単一の文レベルのスコアを提供することで翻訳仮説の品質を推定します。
そのため、翻訳エラーについての洞察はほとんど得られません (たとえば、エラーが何であり、その重大度は何か)。
一方で、生成大規模言語モデル (LLM) は、より詳細な評価戦略の採用を拡大しており、翻訳エラーを詳細に分類して分類しようとしています。
この研究では、これらのアプローチ間のギャップを埋めるために設計されたオープンソースの学習メトリクスである xCOMET を紹介します。
xCOMET は、文レベルの評価とエラー スパン検出機能の両方を統合し、あらゆるタイプの評価 (文レベル、システム レベル、およびエラー スパン検出) にわたって最先端のパフォーマンスを示します。
さらに、エラー範囲を強調表示して分類しながら行うため、品質評価が強化されます。
また、ストレス テストを使用した堅牢性分析も提供し、xCOMET が局所的な重大なエラーと幻覚を特定できることがほとんどであることを示します。

要約(オリジナル)

Widely used learned metrics for machine translation evaluation, such as COMET and BLEURT, estimate the quality of a translation hypothesis by providing a single sentence-level score. As such, they offer little insight into translation errors (e.g., what are the errors and what is their severity). On the other hand, generative large language models (LLMs) are amplifying the adoption of more granular strategies to evaluation, attempting to detail and categorize translation errors. In this work, we introduce xCOMET, an open-source learned metric designed to bridge the gap between these approaches. xCOMET integrates both sentence-level evaluation and error span detection capabilities, exhibiting state-of-the-art performance across all types of evaluation (sentence-level, system-level, and error span detection). Moreover, it does so while highlighting and categorizing error spans, thus enriching the quality assessment. We also provide a robustness analysis with stress tests, and show that xCOMET is largely capable of identifying localized critical errors and hallucinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google