Alibaba-Translate China’s Submission for WMT 2022 Metrics Shared Task

要約

このレポートでは、WMT 2022 メトリクス共有タスクへの提出物を提示します。
ソースのみ、参照のみ、ソースと参照を組み合わせた評価シナリオを 1 つのモデルに統合する UNITE (Unified Translation Evaluation) のコア アイデアに基づいてシステムを構築します。
具体的には、モデルの事前トレーニング段階で、最初に擬似ラベル付きデータ例を適用して、UNITE を継続的に事前トレーニングします。
特に、事前トレーニングと微調整の間のギャップを減らすために、データ クロッピングとランキング ベースのスコア正規化戦略を使用します。
微調整段階では、過去数年間の WMT コンテストの直接評価 (DA) と多次元品質指標 (MQM) の両方のデータを使用します。
特に、さまざまな事前トレーニング済み言語モデル バックボーンを持つモデルから結果を収集し、関連する翻訳方向に対してさまざまなアンサンブル戦略を使用します。

要約(オリジナル)

In this report, we present our submission to the WMT 2022 Metrics Shared Task. We build our system based on the core idea of UNITE (Unified Translation Evaluation), which unifies source-only, reference-only, and source-reference-combined evaluation scenarios into one single model. Specifically, during the model pre-training phase, we first apply the pseudo-labeled data examples to continuously pre-train UNITE. Notably, to reduce the gap between pre-training and fine-tuning, we use data cropping and a ranking-based score normalization strategy. During the fine-tuning phase, we use both Direct Assessment (DA) and Multidimensional Quality Metrics (MQM) data from past years’ WMT competitions. Specially, we collect the results from models with different pre-trained language model backbones, and use different ensembling strategies for involved translation directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google