AfriMTE and AfriCOMET: Enhancing COMET to Embrace Under-resourced African Languages

要約

多言語機械翻訳 (MT) をリソースが不足しているアフリカのいくつかの言語に拡張するという最近の進歩にもかかわらず、評価は通常、人間との相関が弱い BLEU などの N グラム マッチング メトリックに基づいて実行されるため、この進歩を正確に測定することは依然として困難です。
判断。
COMET などの学習済みメトリクスの相関性は高くなります。
しかし、リソースが不足している言語に対する人間による評価を含む評価データの不足、多次元品質メトリクス (MQM) などの注釈ガイドラインの複雑さ、多言語エンコーダの対象言語の制限により、アフリカ言語への適用が妨げられています。
この論文では、類型的に多様なアフリカの 13 言語のエラー検出と直接評価 (DA) スコアリングのための簡素化された MQM ガイドラインを使用して、高品質な人による評価データを作成することで、これらの課題に対処します。
さらに、豊富なリソースを持つ言語からの DA データとアフリカ中心の多言語エンコーダー (AfroXLM-R) を活用して、アフリカ言語の COMET 評価指標である AfriCOMET を開発し、アフリカ言語の最先端の MT 評価指標を作成します。
スピアマンのランクと人間の判断との相関関係 (0.441)。

要約(オリジナル)

Despite the recent progress on scaling multilingual machine translation (MT) to several under-resourced African languages, accurately measuring this progress remains challenging, since evaluation is often performed on n-gram matching metrics such as BLEU, which typically show a weaker correlation with human judgments. Learned metrics such as COMET have higher correlation; however, the lack of evaluation data with human ratings for under-resourced languages, complexity of annotation guidelines like Multidimensional Quality Metrics (MQM), and limited language coverage of multilingual encoders have hampered their applicability to African languages. In this paper, we address these challenges by creating high-quality human evaluation data with simplified MQM guidelines for error detection and direct assessment (DA) scoring for 13 typologically diverse African languages. Furthermore, we develop AfriCOMET: COMET evaluation metrics for African languages by leveraging DA data from well-resourced languages and an African-centric multilingual encoder (AfroXLM-R) to create the state-of-the-art MT evaluation metrics for African languages with respect to Spearman-rank correlation with human judgments (0.441).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google