Analysing Zero-Shot Readability-Controlled Sentence Simplification

要約

可読性を制御したテキスト簡略化 (RCTS) は、テキストの意味を維持しながら、可読性の低いレベルにテキストを書き換えます。
RCTS モデルは多くの場合、ソース側とターゲット側の両方に可読性の注釈を備えた並列コーパスに依存します。
このようなデータセットは希少であり、特に文レベルでの収集は困難です。
並列データへの依存を減らすために、ゼロショット RCTS 用に命令調整された大規模言語モデルを使用することを検討します。
自動および手動の評価を通じて、(1) さまざまなタイプのコンテキスト情報が、望ましい読みやすさを備えた文章を生成するモデルの能力にどのような影響を与えるか、(2) 目標の読みやすさの達成と意味の保持の間のトレードオフを調べます。
結果は、適切な書き換えを妨げるモデルの制限とソース文の特性により、テストしたすべてのモデルが文を (特に最下位レベルまで) 単純化するのに苦労していることを示しています。
私たちの実験では、RCTS に合わせたより優れた自動評価メトリクスの必要性も浮き彫りになっています。標準的な評価メトリクスでは、一般的な単純化操作が誤って解釈され、可読性と意味の保持が不正確に評価されることが多いためです。

要約(オリジナル)

Readability-controlled text simplification (RCTS) rewrites texts to lower readability levels while preserving their meaning. RCTS models often depend on parallel corpora with readability annotations on both source and target sides. Such datasets are scarce and difficult to curate, especially at the sentence level. To reduce reliance on parallel data, we explore using instruction-tuned large language models for zero-shot RCTS. Through automatic and manual evaluations, we examine: (1) how different types of contextual information affect a model’s ability to generate sentences with the desired readability, and (2) the trade-off between achieving target readability and preserving meaning. Results show that all tested models struggle to simplify sentences (especially to the lowest levels) due to models’ limitations and characteristics of the source sentences that impede adequate rewriting. Our experiments also highlight the need for better automatic evaluation metrics tailored to RCTS, as standard ones often misinterpret common simplification operations, and inaccurately assess readability and meaning preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google