EffEval: A Comprehensive Evaluation of Efficiency for MT Evaluation Metrics

要約

効率は、特に LLM の時代において、包括性を促進し、環境コストを削減するための重要な特性です。
この研究では、MT 評価指標の効率の包括的な評価を提供します。
私たちのアプローチには、計算集約型の変換器をより軽量な代替手段に置き換え、LLM 表現上の位置合わせアルゴリズムに線形および二次近似を採用することが含まれます。
3 つの MT データセットにわたって 6 つの (参照フリーおよび参照ベースの) メトリクスを評価し、16 の軽量トランスフォーマーを調べます。
さらに、アダプターを活用することで、COMET などのメトリクスの学習効率を調査します。
私たちの結果は、(a) TinyBERT が品質と効率の最適なバランスを提供すること、(b) CPU の高速化が GPU よりも大幅であることを示しています。
(c) WMD 近似では品質が低下する一方で効率は向上しません。(d) アダプターはトレーニング効率 (逆方向パス速度とメモリ要件に関して) を向上させ、場合によってはメトリクスの品質も向上します。
これらの発見は、効果的な NLG システムに不可欠な評価速度と品質のバランスを取るのに役立ちます。
さらに、私たちの研究は、パフォーマンスへの影響を最小限に抑えながら NLG 評価指標を最適化するための継続的な取り組みに貢献します。
私たちの知る限り、私たちの分析は、これまでに実施された MT メトリクスの効率のさまざまな側面について最も包括的な分析です。

要約(オリジナル)

Efficiency is a key property to foster inclusiveness and reduce environmental costs, especially in an era of LLMs. In this work, we provide a comprehensive evaluation of efficiency for MT evaluation metrics. Our approach involves replacing computation-intensive transformers with lighter alternatives and employing linear and quadratic approximations for alignment algorithms on top of LLM representations. We evaluate six (reference-free and reference-based) metrics across three MT datasets and examine 16 lightweight transformers. In addition, we look into the training efficiency of metrics like COMET by utilizing adapters. Our results indicate that (a) TinyBERT provides the optimal balance between quality and efficiency, (b) CPU speed-ups are more substantial than those on GPU; (c) WMD approximations yield no efficiency gains while reducing quality and (d) adapters enhance training efficiency (regarding backward pass speed and memory requirements) as well as, in some cases, metric quality. These findings can help to strike a balance between evaluation speed and quality, which is essential for effective NLG systems. Furthermore, our research contributes to the ongoing efforts to optimize NLG evaluation metrics with minimal impact on performance. To our knowledge, ours is the most comprehensive analysis of different aspects of efficiency for MT metrics conducted so far.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google