xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics

要約

xCOMET のような最先端のトレーニング可能な機械翻訳評価メトリクスは、人間の判断との高い相関関係を実現していますが、大規模なエンコーダ (最大 107 億のパラメータ) に依存しているため、計算コストが高くつき、リソースが限られている研究者にはアクセスできません。
この問題に対処するために、私たちは、これらの大型エンコーダーに保存された知識を、品質を維持しながら圧縮できるかどうかを調査します。
私たちは蒸留、量子化、枝刈り技術を採用して効率的な xCOMET 代替手段を作成し、効率的なブラック ボックス蒸留のための新しいデータ収集パイプラインを導入します。
私たちの実験では、量子化を使用すると、品質を劣化させることなく xCOMET を最大 3 倍まで圧縮できることがわかりました。
さらに、蒸留によって xCOMET-lite メトリックを作成します。これは、xCOMET-XXL パラメーターの 2.6% のみを含みますが、品質の 92.1% を保持します。
さらに、使用するパラメータが 50% 少ないにもかかわらず、WMT22 メトリクス チャレンジ データセット上の COMET-22 や BLEURT-20 などの強力な小規模メトリクスを 6.4% 上回っています。
すべてのコード、データセット、モデルはオンラインで入手できます。

要約(オリジナル)

State-of-the-art trainable machine translation evaluation metrics like xCOMET achieve high correlation with human judgment but rely on large encoders (up to 10.7B parameters), making them computationally expensive and inaccessible to researchers with limited resources. To address this issue, we investigate whether the knowledge stored in these large encoders can be compressed while maintaining quality. We employ distillation, quantization, and pruning techniques to create efficient xCOMET alternatives and introduce a novel data collection pipeline for efficient black-box distillation. Our experiments show that, using quantization, xCOMET can be compressed up to three times with no quality degradation. Additionally, through distillation, we create an xCOMET-lite metric, which has only 2.6% of xCOMET-XXL parameters, but retains 92.1% of its quality. Besides, it surpasses strong small-scale metrics like COMET-22 and BLEURT-20 on the WMT22 metrics challenge dataset by 6.4%, despite using 50% fewer parameters. All code, dataset, and models are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google