Evaluating Machine Translation Quality with Conformal Predictive Distributions

要約

本論文では、機械翻訳の不確実性を評価するために、翻訳品質の評価と信頼できる信頼スコアを同時に提供する新しいアプローチを紹介する。これは、任意の有意水準$epsilon$に対して、翻訳の真の品質スコアが$1-epsilon$の割合で区間から外れることが期待できることを意味する。本論文では、6つの異なる言語ペアにおいて、本手法が単純だが効果的なベースラインを、カバー率とシャープネスの点で上回ることを実証する。さらに、本手法が最適な性能を発揮するためには、データ交換性の仮定が成立する必要があることを検証する。

要約(オリジナル)

This paper presents a new approach for assessing uncertainty in machine translation by simultaneously evaluating translation quality and providing a reliable confidence score. Our approach utilizes conformal predictive distributions to produce prediction intervals with guaranteed coverage, meaning that for any given significance level $\epsilon$, we can expect the true quality score of a translation to fall out of the interval at a rate of $1-\epsilon$. In this paper, we demonstrate how our method outperforms a simple, but effective baseline on six different language pairs in terms of coverage and sharpness. Furthermore, we validate that our approach requires the data exchangeability assumption to hold for optimal performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL