CovScore: Evaluation of Multi-Document Abstractive Title Set Generation

要約

この論文では、ドキュメントのコーパスから抽出されたテーマ別タイトル セットを評価するための自動参照レス手法である CovScore を紹介します。
このような抽出方法は広く使用されていますが、その有効性を評価することは未解決の問題のままです。
さらに、既存の手法の中には、時間と労力のかかる人間による注釈手順に大きく依存しているものがあります。
最近導入された LLM ベースの判定方法に触発され、評価のさまざまな側面に沿って品質を 5 つの主要な指標に分解する新しい方法論を提案します。
このフレーミングにより、手動評価プロセスが簡素化および迅速化され、自動かつ独立した LLM ベースの評価が可能になります。
テストケースとして、タイトルセットの抽出との関連性と、この追求の道徳的重要性の両方を動機として、ホロコースト生存者の証言のコーパスにアプローチを適用します。
自然主義的および合成的なタイトル セット生成システムを実験して方法論を検証し、そのパフォーマンスを方法論と比較します。

要約(オリジナル)

This paper introduces CovScore, an automatic reference-less methodology for evaluating thematic title sets, extracted from a corpus of documents. While such extraction methods are widely used, evaluating their effectiveness remains an open question. Moreover, some existing practices heavily rely on slow and laborious human annotation procedures. Inspired by recently introduced LLM-based judge methods, we propose a novel methodology that decomposes quality into five main metrics along different aspects of evaluation. This framing simplifies and expedites the manual evaluation process and enables automatic and independent LLM-based evaluation. As a test case, we apply our approach to a corpus of Holocaust survivor testimonies, motivated both by its relevance to title set extraction and by the moral significance of this pursuit. We validate the methodology by experimenting with naturalistic and synthetic title set generation systems and compare their performance with the methodology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google