Reference-free Evaluation Metrics for Text Generation: A Survey

要約

自然言語生成システムに関しては、数多くの自動評価指標が提案されています。
自動評価への最も一般的なアプローチは、モデルの出力と人間が作成したゴールドスタンダードのリファレンスを比較するリファレンスベースのメトリクスを使用することです。
ただし、このような参照の作成にはコストがかかり、対話での応答生成などの一部のタスクでは、参照の作成は簡単な問題ではありません。
したがって、近年、さまざまな参照不要の指標が開発されています。
この調査では、すべての NLG タスクの全範囲をカバーすることを目的として、最も一般的に使用されるアプローチ、そのアプリケーション、およびモデルの評価を超えたその他の用途を調査します。
この調査は、将来の研究のいくつかの有望な方向性を強調して締めくくられています。

要約(オリジナル)

A number of automatic evaluation metrics have been proposed for natural language generation systems. The most common approach to automatic evaluation is the use of a reference-based metric that compares the model’s output with gold-standard references written by humans. However, it is expensive to create such references, and for some tasks, such as response generation in dialogue, creating references is not a simple matter. Therefore, various reference-free metrics have been developed in recent years. In this survey, which intends to cover the full breadth of all NLG tasks, we investigate the most commonly used approaches, their application, and their other uses beyond evaluating models. The survey concludes by highlighting some promising directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google