LENS: A Learnable Evaluation Metric for Text Simplification

要約

最新の言語モデルを使用して学習可能な指標をトレーニングすることは、機械翻訳の自動評価の有望な方法として最近浮上しています。
ただし、テキスト簡略化のための既存の人による評価データセットには、単一モデルまたは時代遅れのモデルに基づくアノテーションが限られているため、このアプローチには適していません。
これらの問題に対処するために、以下を含む SimpEval コーパスを導入します。 SimpEval_past (過去 24 のシステムの 2.4K の簡略化に対する 12K の人間による評価で構成)、および SimpEval_2022 (GPT-3.5 で生成されたテキストを含む 360 の簡略化の 1,000 人を超える人間による評価で構成される、挑戦的な単純化ベンチマーク)
。
SimpEval のトレーニングでは、テキスト簡略化のための学習可能な評価指標である LENS を紹介します。
広範な実証結果は、LENS が既存の指標よりも人間の判断とはるかによく相関しており、テキスト簡略化の評価における将来の進歩への道を開くことを示しています。
また、Rank and Rate も紹介します。Rank and Rate は、対話型インターフェイスを使用してリスト形式で複数のモデルの単純化を評価する人間による評価フレームワークです。これにより、評価プロセスの一貫性と正確性の両方が保証され、SimpEval データセットの作成に使用されます。

要約(オリジナル)

Training learnable metrics using modern language models has recently emerged as a promising method for the automatic evaluation of machine translation. However, existing human evaluation datasets for text simplification have limited annotations that are based on unitary or outdated models, making them unsuitable for this approach. To address these issues, we introduce the SimpEval corpus that contains: SimpEval_past, comprising 12K human ratings on 2.4K simplifications of 24 past systems, and SimpEval_2022, a challenging simplification benchmark consisting of over 1K human ratings of 360 simplifications including GPT-3.5 generated text. Training on SimpEval, we present LENS, a Learnable Evaluation Metric for Text Simplification. Extensive empirical results show that LENS correlates much better with human judgment than existing metrics, paving the way for future progress in the evaluation of text simplification. We also introduce Rank and Rate, a human evaluation framework that rates simplifications from several models in a list-wise manner using an interactive interface, which ensures both consistency and accuracy in the evaluation process and is used to create the SimpEval datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google