EASSE-DE: Easier Automatic Sentence Simplification Evaluation for German

要約

本研究では、英語以外の言語の文の自動評価を容易にするフレームワークEASSE-multiを提案する。EASSE-multiは、オリジナルのEASSEフレームワークと比較して、英語だけに焦点を当てていない。EASSE-multiには、トークン化器や、多言語に適した文章簡略化評価指標が含まれている。本論文では、EASSE-multiをドイツ語TSに使用し、EASSE-DEを作成した例を示す。さらに、メトリクスの言語やトークン化の設定を変えて評価した場合のテキスト簡略化の結果を比較する。これに基づいて、（ドイツ語の）TSモデルの評価をより透明化し、より良く比較できるようにする方法について提言を行う。EASSE-multiとそのドイツ語版（EASSE-DE）のコードはhttps://github.com/rstodden/easse-de。

要約(オリジナル)

In this work, we propose EASSE-multi, a framework for easier automatic sentence evaluation for languages other than English. Compared to the original EASSE framework, EASSE-multi does not focus only on English. It contains tokenizers and versions of text simplification evaluation metrics which are suitable for multiple languages. In this paper, we exemplify the usage of EASSE-multi for German TS, resulting in EASSE-DE. Further, we compare text simplification results when evaluating with different language or tokenization settings of the metrics. Based on this, we formulate recommendations on how to make the evaluation of (German) TS models more transparent and better comparable. The code of EASSE-multi and its German specialisation (EASSE-DE) can be found at https://github.com/rstodden/easse-de.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL