ReadCtrl: Personalizing text generation with readability-controlled instruction learning

要約

ユーザーの読みやすさを条件にしたコンテンツ生成は、パーソナライゼーションの重要なアプリケーションです。
大規模言語モデル (LLM) の時代では、LLM に基づいて読みやすさを制御したテキスト生成がますます重要になっています。
この論文では、ユーザーの可読性レベルに合わせて LLM を調整することを目的とした、「可読性制御命令学習 (ReadCtrl)」と呼ばれる新しい方法論を紹介します。
通常、高、中、低、または専門家と素人のレベルに分類され、成功率が限られていたカテゴリ別の読みやすさの調整に主に焦点を当てた従来の方法とは異なり、ReadCtrl は、LLM がさまざまな (連続レベルに近い) 複雑さレベルでコンテンツを生成できるようにする動的なフレームワークを導入しています。
、これにより、さまざまなアプリケーションにわたる汎用性が向上します。
私たちの結果は、ReadCtrl-Mistral-7B モデルが GPT-4 や Claude-3 などの強力なベースライン モデルを大幅に上回り、人間による評価では GPT-4 に対して 52.1%:35.7% の勝率を示したことが示されています。
さらに、Read-Ctrl は、可読性メトリクス (FOG、FKGL など) と生成品質メトリクス (BLEU、SARI、SummaC-Factuality、UniEval-Consistency、Coherence など) の向上によって証明されているように、自動評価において大幅な改善を示しています。
これらの結果は、目標の可読性レベルに厳密に一致する高品質で文脈に応じて適切な出力を生成する Read-Ctrl の有効性と粘り強さを強調し、LLM を使用したパーソナライズされたコンテンツ生成の大幅な進歩を示しています。

要約(オリジナル)

Content generation conditioning on users’s readability is an important application for personalization. In an era of large language models (LLMs), readability-controlled text generation based on LLMs has become increasingly important. This paper introduces a novel methodology called ‘Readability-Controlled Instruction Learning (ReadCtrl),’ which aims to instruction-tune LLMs to tailor users’ readability levels. Unlike the traditional methods, which primarily focused on categorical readability adjustments typically classified as high, medium, and low or expert and layperson levels with limited success, ReadCtrl introduces a dynamic framework that enables LLMs to generate content at various (near continuous level) complexity levels, thereby enhancing their versatility across different applications. Our results show that the ReadCtrl-Mistral-7B models significantly outperformed strong baseline models such as GPT-4 and Claude-3, with a win rate of 52.1%:35.7% against GPT-4 in human evaluations. Furthermore, Read-Ctrl has shown significant improvements in automatic evaluations, as evidenced by better readability metrics (e.g., FOG, FKGL) and generation quality metrics (e.g., BLEU, SARI, SummaC-Factuality, UniEval-Consistency and Coherence). These results underscore Read-Ctrl’s effectiveness and tenacity in producing high-quality, contextually appropriate outputs that closely align with targeted readability levels, marking a significant advancement in personalized content generation using LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google