Summarization Metrics for Spanish and Basque: Do Automatic Scores and LLM-Judges Correlate with Humans?

要約

自動テキストの要約のための評価メトリックとLLM-As-a-Judgeモデルに関する研究は、英語に主に焦点を当てており、他の言語での有効性の理解を制限しています。
新しいデータセットバス（バスクとスペインの要約評価）を通じて、バスクとスペイン語で2,040の抽象的な要約で人間の判断を収集することにより、この状況に対処し、4つの異なるプロンプトで手動または5つのLLMによって生成されます。
各要約について、アノテーターは、5点のリッカートスケールで5つの基準を評価しました：一貫性、一貫性、流ency性、関連性、5W1H。
これらのデータを使用して、概要の評価に使用されていた従来の自動メトリックと、このタスクでこのタスクで強力なパフォーマンスを示すいくつかのLLM As-a-Judgeモデルを再評価します。
我々の結果は、現在の独自の裁判官LLMが人間の判断と最も高い相関があり、その後に基準固有の自動メトリックが続いている一方で、オープンソースの裁判官LLMはパフォーマンスが低いことを示しています。
22,525のニュース記事を含むサブヘッドを含む最初の大規模なバスク要約データセットとともに、BasseとCodeを公開します。

要約(オリジナル)

Studies on evaluation metrics and LLM-as-a-Judge models for automatic text summarization have largely been focused on English, limiting our understanding of their effectiveness in other languages. Through our new dataset BASSE (BAsque and Spanish Summarization Evaluation), we address this situation by collecting human judgments on 2,040 abstractive summaries in Basque and Spanish, generated either manually or by five LLMs with four different prompts. For each summary, annotators evaluated five criteria on a 5-point Likert scale: coherence, consistency, fluency, relevance, and 5W1H. We use these data to reevaluate traditional automatic metrics used for evaluating summaries, as well as several LLM-as-a-Judge models that show strong performance on this task in English. Our results show that currently proprietary judge LLMs have the highest correlation with human judgments, followed by criteria-specific automatic metrics, while open-sourced judge LLMs perform poorly. We release BASSE and our code publicly, along with the first large-scale Basque summarization dataset containing 22,525 news articles with their subheads.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google