Is Reference Necessary in the Evaluation of NLG Systems? When and Where?

要約

NLG システムを評価するための自動メトリクスの大部分は参照ベースです。
ただし、人間によるアノテーションを収集するという課題により、多くのアプリケーション シナリオにおいて信頼できる参照が不足します。
参照フリーのメトリクスは最近進歩していますが、参照ベースのメトリクスの代替として、いつ、どこで使用できるかについては十分に理解されていません。
この研究では、多様な分析アプローチを採用することで、8 つのデータセットと 8 つの評価モデルを含む幅広い NLG タスクにわたって両方の指標のパフォーマンスを包括的に評価します。
確かな実験に基づく結果は、リファレンスフリーの指標が人間の判断とより高い相関関係を示し、言語品質の欠陥に対する感度がより高いことを示しています。
ただし、その有効性はタスクによって異なり、候補テキストの品質に影響されます。
したがって、特に入力が一般的ではない形式である場合や、回答空間が大きく変動する場合には、新しいタスクに適用する前に、参照不要のメトリクスのパフォーマンスを評価することが重要です。
私たちの研究は、自動メトリクスの適切な適用と評価パフォーマンスに対するメトリクスの選択の影響についての洞察を提供します。

要約(オリジナル)

The majority of automatic metrics for evaluating NLG systems are reference-based. However, the challenge of collecting human annotation results in a lack of reliable references in numerous application scenarios. Despite recent advancements in reference-free metrics, it has not been well understood when and where they can be used as an alternative to reference-based metrics. In this study, by employing diverse analytical approaches, we comprehensively assess the performance of both metrics across a wide range of NLG tasks, encompassing eight datasets and eight evaluation models. Based on solid experiments, the results show that reference-free metrics exhibit a higher correlation with human judgment and greater sensitivity to deficiencies in language quality. However, their effectiveness varies across tasks and is influenced by the quality of candidate texts. Therefore, it’s important to assess the performance of reference-free metrics before applying them to a new task, especially when inputs are in uncommon form or when the answer space is highly variable. Our study can provide insight into the appropriate application of automatic metrics and the impact of metric choice on evaluation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google