Is it Possible to Modify Text to a Target Readability Level? An Initial Investigation Using Zero-Shot Large Language Models

要約

テキストの簡略化は、テキストを理解しやすくするために調整される一般的なタスクです。
同様に、テキストを推敲すると文章がより洗練されたものになり、読解テストの複雑さを制御する方法が提供されます。
ただし、テキストの簡略化と推敲のタスクは、テキストの読みやすさを相対的に変更するのみに限定されます。
多様な読者に対応するために、テキストの読みやすさを絶対的なターゲットの読みやすさレベルに直接変更すると便利です。
理想的には、可読性が制御された生成テキストの可読性は、ソース テキストから独立している必要があります。
したがって、読みやすさを制御した新しいテキスト変更タスクを提案します。
このタスクでは、入力テキストごとにさまざまな目標可読性レベルで 8 つのバージョンを生成する必要があります。
読みやすさを制御する新しいテキスト変更メトリクスを導入します。
このタスクのベースラインでは ChatGPT と Llama-2 を使用し、拡張アプローチでは 2 段階のプロセス (言語モデルを 2 回通過することで言い換えを生成) を導入します。
ゼロショットアプローチは言い換えの可読性を望ましい方向に推し進めることができますが、最終的な可読性は元のテキストの可読性と相関したままになります。
また、ソーステキストとターゲットテキストの間の意味的および語彙的な類似性が大幅に低下し、可読性が大きく変化することもわかりました。

要約(オリジナル)

Text simplification is a common task where the text is adapted to make it easier to understand. Similarly, text elaboration can make a passage more sophisticated, offering a method to control the complexity of reading comprehension tests. However, text simplification and elaboration tasks are limited to only relatively alter the readability of texts. It is useful to directly modify the readability of any text to an absolute target readability level to cater to a diverse audience. Ideally, the readability of readability-controlled generated text should be independent of the source text. Therefore, we propose a novel readability-controlled text modification task. The task requires the generation of 8 versions at various target readability levels for each input text. We introduce novel readability-controlled text modification metrics. The baselines for this task use ChatGPT and Llama-2, with an extension approach introducing a two-step process (generating paraphrases by passing through the language model twice). The zero-shot approaches are able to push the readability of the paraphrases in the desired direction but the final readability remains correlated with the original text’s readability. We also find greater drops in semantic and lexical similarity between the source and target texts with greater shifts in the readability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google