Controlling Pre-trained Language Models for Grade-Specific Text Simplification

要約

テキスト簡略化 (TS) システムは、内容を維持しながらテキストを書き換えて読みやすくします。
ただし、文章を読みやすいものにするかどうかは、対象とする読者によって異なります。
最近の研究では、事前トレーニングされた言語モデルが、必要な読解レベルのみの指定から低レベルの編集操作の直接指定に至るまで、出力の単純さを制御する豊富な手法を使用してテキストを簡素化できることが示されています。
しかし、実際にこれらの制御パラメータをどのように設定するかは依然として不明である。
既存のアプローチでは、それらをコーパス レベルで設定し、個々の入力の複雑さを無視し、出力の複雑さの 1 つのレベルのみを考慮します。
この研究では、さまざまな制御メカニズムがテキスト簡略化システムの適切性と単純性にどのような影響を与えるかを理解するために実証的研究を実施します。
これらの洞察に基づいて、インスタンスごとに特定の学年レベルのテキストを簡略化するために必要な編集操作を予測する簡単な方法を紹介します。
このアプローチにより、コーパスレベルの検索ベースのヒューリスティックよりも単純化された出力の品質が向上します。

要約(オリジナル)

Text simplification (TS) systems rewrite text to make it more readable while preserving its content. However, what makes a text easy to read depends on the intended readers. Recent work has shown that pre-trained language models can simplify text using a wealth of techniques to control output simplicity, ranging from specifying only the desired reading grade level, to directly specifying low-level edit operations. Yet it remains unclear how to set these control parameters in practice. Existing approaches set them at the corpus level, disregarding the complexity of individual inputs and considering only one level of output complexity. In this work, we conduct an empirical study to understand how different control mechanisms impact the adequacy and simplicity of text simplification systems. Based on these insights, we introduce a simple method that predicts the edit operations required for simplifying a text for a specific grade level on an instance-per-instance basis. This approach improves the quality of the simplified outputs over corpus-level search-based heuristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google