Personalized Text Generation with Fine-Grained Linguistic Control

要約

大規模な言語モデルのテキスト生成機能がますます顕著になるにつれて、最近の研究では、生成されたテキストの特定の側面を制御して、テキストをよりパーソナライズすることに焦点が当てられています。
ただし、制御可能なテキスト生成に関するほとんどの研究は、コンテンツの制御や、形式、領域、感情などの著者の文体を反映する特定の高レベル/粗粒属性のモデル化に焦点を当てています。
この論文では、語彙属性や構文属性など、複数の言語次元にまたがるきめ細かい属性の制御に焦点を当てます。
生成モデルをトレーニングし、複数のきめの細かい言語属性に基づいてパーソナライズされたテキストを生成する能力を評価するための新しいベンチマークを導入します。
私たちはベンチマークでさまざまな大規模な言語モデルのパフォーマンスを体系的に調査し、パフォーマンスに影響を与える要因から洞察を引き出します。
私たちはコード、データ、事前トレーニング済みモデルを公開しています。

要約(オリジナル)

As the text generation capabilities of large language models become increasingly prominent, recent studies have focused on controlling particular aspects of the generated text to make it more personalized. However, most research on controllable text generation focuses on controlling the content or modeling specific high-level/coarse-grained attributes that reflect authors’ writing styles, such as formality, domain, or sentiment. In this paper, we focus on controlling fine-grained attributes spanning multiple linguistic dimensions, such as lexical and syntactic attributes. We introduce a novel benchmark to train generative models and evaluate their ability to generate personalized text based on multiple fine-grained linguistic attributes. We systematically investigate the performance of various large language models on our benchmark and draw insights from the factors that impact their performance. We make our code, data, and pretrained models publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google