Preliminary WMT24 Ranking of General MT Systems and LLMs

要約

これは、自動メトリクスに基づいた WMT24 一般 MT システムの暫定ランキングです。
公式ランキングは自動ランキングよりも優れた人間による評価となります。
このレポートの目的は、調査結果を解釈することではなく、一般 MT タスクの参加者にシステム提出の作成中に役立つ可能性のある暫定的な結果を提供することだけです。

要約(オリジナル)

This is the preliminary ranking of WMT24 General MT systems based on automatic metrics. The official ranking will be a human evaluation, which is superior to the automatic ranking and supersedes it. The purpose of this report is not to interpret any findings but only provide preliminary results to the participants of the General MT task that may be useful during the writing of the system submission.

arxiv情報

著者 Tom Kocmi,Eleftherios Avramidis,Rachel Bawden,Ondrej Bojar,Anton Dvorkovich,Christian Federmann,Mark Fishel,Markus Freitag,Thamme Gowda,Roman Grundkiewicz,Barry Haddow,Marzena Karpinska,Philipp Koehn,Benjamin Marie,Kenton Murray,Masaaki Nagata,Martin Popel,Maja Popovic,Mariya Shmatova,Steinþór Steingrímsson,Vilém Zouhar
発行日 2024-07-29 11:01:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク