The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation

要約

機械翻訳 (MT) の自動評価は、MT システムの迅速な反復開発を促進する重要なツールです。
単一のスカラー品質スコアの推定に関してはかなりの進歩が見られますが、現在のメトリックには、多次元品質メトリック (MQM) など、個々のエラーに注釈を付けるより詳細なスキームのような情報提供力が欠けています。
このペーパーでは、大規模言語モデル (LLM) の推論機能とコンテキスト内学習機能を活用し、翻訳のエラーを特定して分類するよう求めるプロンプト手法である AutoMQM を提案することで、このギャップを埋めるのに役立ちます。
まず、単純なスコア予測プロンプトを通じて PaLM や PaLM-2 などの最近の LLM を評価し、コンテキスト内の学習と微調整を通じてラベル付きデータの影響を研究します。
次に、PaLM-2 モデルを使用して AutoMQM を評価したところ、人間の注釈と一致するエラー スパンによる解釈可能性を提供しながら、スコアの入力を求めるだけの場合と比較してパフォーマンスが向上することがわかりました (特に大規模なモデルでは大きなゲインが得られます)。

要約(オリジナル)

Automatic evaluation of machine translation (MT) is a critical tool driving the rapid iterative development of MT systems. While considerable progress has been made on estimating a single scalar quality score, current metrics lack the informativeness of more detailed schemes that annotate individual errors, such as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap by proposing AutoMQM, a prompting technique which leverages the reasoning and in-context learning capabilities of large language models (LLMs) and asks them to identify and categorize errors in translations. We start by evaluating recent LLMs, such as PaLM and PaLM-2, through simple score prediction prompting, and we study the impact of labeled data through in-context learning and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that it improves performance compared to just prompting for scores (with particularly large gains for larger models) while providing interpretability through error spans that align with human annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google