要約
品質推定（QE）システムは、翻訳の品質を評価する必要があるが、参照できるものがない状況で重要である。本論文では、SurreyAIチームがWMT23の共有タスク「Sentence-Level Direct Assessment」に取り組むために採用したアプローチについて述べる。提案するアプローチは、TransQuestフレームワークに基づいており、MonoTransQuestアーキテクチャの中で、単一設定とアンサンブル設定を用いて、様々なオートエンコーダ事前学習済み言語モデルを探索する。提案システムでは、XLMV、InfoXLM-large、XLMR-largeを採用した。評価にはスピアマン相関係数とピアソン相関係数を用い、5つの言語ペア（英語-グジャラート語、英語-ヒンディー語、英語-マラティー語、英語-タミル語、英語-テルグ語）について、機械が予測した品質スコアと人間の判断との関係を評価した。MonoTQ-InfoXLM-largeアプローチは、本研究で提案された他のすべての個別モデルを凌駕し、大半の言語ペアにおいてベースラインよりも有意に改善することで、頑健な戦略として浮上した。
要約(オリジナル)
Quality Estimation (QE) systems are important in situations where it is necessary to assess the quality of translations, but there is no reference available. This paper describes the approach adopted by the SurreyAI team for addressing the Sentence-Level Direct Assessment shared task in WMT23. The proposed approach builds upon the TransQuest framework, exploring various autoencoder pre-trained language models within the MonoTransQuest architecture using single and ensemble settings. The autoencoder pre-trained language models employed in the proposed systems are XLMV, InfoXLM-large, and XLMR-large. The evaluation utilizes Spearman and Pearson correlation coefficients, assessing the relationship between machine-predicted quality scores and human judgments for 5 language pairs (English-Gujarati, English-Hindi, English-Marathi, English-Tamil and English-Telugu). The MonoTQ-InfoXLM-large approach emerges as a robust strategy, surpassing all other individual models proposed in this study by significantly improving over the baseline for the majority of the language pairs.
arxiv情報
| 著者 | Archchana Sindhujan,Diptesh Kanojia,Constantin Orasan,Tharindu Ranasinghe |
| 発行日 | 2023-12-01 12:01:04+00:00 |
| arxivサイト | arxiv_id(pdf) |