Difficulty Estimation and Simplification of French Text Using LLMs

要約

私たちは言語学習アプリケーションに生成大規模言語モデルを活用し、外国語テキストの難易度を推定し、難易度を下げるために簡素化することに重点を置いています。
私たちは両方のタスクを予測問題として組み立て、ラベル付き例、転移学習、大規模言語モデルを使用して難易度分類モデルを開発し、以前のアプローチと比較して優れた精度を実証しました。
単純化については、大規模な言語モデルのゼロショットと微調整されたパフォーマンスを比較して、単純化の品質と意味の保持の間のトレードオフを評価します。
限られた微調整で意味のあるテキストの簡略化が得られることを示します。
私たちの実験はフランス語のテキストに対して行われますが、私たちの方法は言語に依存せず、他の外国語にも直接適用できます。

要約(オリジナル)

We leverage generative large language models for language learning applications, focusing on estimating the difficulty of foreign language texts and simplifying them to lower difficulty levels. We frame both tasks as prediction problems and develop a difficulty classification model using labeled examples, transfer learning, and large language models, demonstrating superior accuracy compared to previous approaches. For simplification, we evaluate the trade-off between simplification quality and meaning preservation, comparing zero-shot and fine-tuned performances of large language models. We show that meaningful text simplifications can be obtained with limited fine-tuning. Our experiments are conducted on French texts, but our methods are language-agnostic and directly applicable to other foreign languages.

arxiv情報

著者 Henri Jamet,Yash Raj Shrestha,Michalis Vlachos
発行日 2024-07-25 14:16:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク