REFeREE: A REference-FREE Model-Based Metric for Text Simplification

要約

テキストの簡略化には普遍的な品質基準が欠けており、注釈付きの参照の簡略化は希少でコストがかかります。
私たちは、3 段階のカリキュラムを備えた参照不要のモデルベースの指標である REFeREE を導入することで、このような制限を軽減することを提案します。
REFeREE は、任意にスケーラブルな事前トレーニング ステージを活用しており、少数の人による注釈が利用できる限り、あらゆる品質基準に適用できます。
私たちの実験では、私たちの指標が全体的な評価の予測において既存の参照ベースの指標を上回り、特定の評価の予測において競争力のある一貫したパフォーマンスに達する一方、推論時に参照の単純化を必要としないことが示されています。

要約(オリジナル)

Text simplification lacks a universal standard of quality, and annotated reference simplifications are scarce and costly. We propose to alleviate such limitations by introducing REFeREE, a reference-free model-based metric with a 3-stage curriculum. REFeREE leverages an arbitrarily scalable pretraining stage and can be applied to any quality standard as long as a small number of human annotations are available. Our experiments show that our metric outperforms existing reference-based metrics in predicting overall ratings and reaches competitive and consistent performance in predicting specific ratings while requiring no reference simplifications at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google