PoetryDiffusion: Towards Joint Semantic and Metrical Manipulation in Poetry Generation

要約

制御可能なテキスト生成は、自然言語生成 (NLG) において挑戦的かつ有意義な分野です。
特に、詩の生成は、テキスト生成のための明確で厳密な条件を備えた典型的なものであり、現在の方法論を評価するための理想的な遊び場です。
これまでの研究では、詩生成の意味論的側面または韻律的側面のいずれかを制御することに成功しましたが、両方を同時に扱うことは依然として課題です。
この論文では、このような課題に取り組むために、ソネットと中国の SongCi 詩を生成するための拡散モデルの使用を先駆けて紹介します。
意味論の観点から言えば、Diffusion モデルを基にして構築された PoetryDiffusion モデルは、文情報全体を包括的に考慮して文全体または詩を生成します。
このアプローチはセマンティック表現を強化し、自己回帰モデルや大規模言語モデル (LLM) とは区別します。
計量制御については、拡散生成の分離機能とその制約制御モジュールにより、新しい計量コントローラを柔軟に組み込んで計量（フォーマットとリズム）を操作および評価することができます。
PoetryDiffusion のノイズ除去プロセスにより、セマンティクスの段階的な強化と、ターゲットの制御分布から大幅に逸脱した状態にペナルティを計算して課すことができる計量コントローラーの柔軟な統合が可能になります。
2 つのデータセットの実験結果は、私たちのモデルが意味論的、計量的、全体的なパフォーマンスの自動評価と人間の評価において既存のモデルよりも優れていることを示しています。

要約(オリジナル)

Controllable text generation is a challenging and meaningful field in natural language generation (NLG). Especially, poetry generation is a typical one with well-defined and strict conditions for text generation which is an ideal playground for the assessment of current methodologies. While prior works succeeded in controlling either semantic or metrical aspects of poetry generation, simultaneously addressing both remains a challenge. In this paper, we pioneer the use of the Diffusion model for generating sonnets and Chinese SongCi poetry to tackle such challenges. In terms of semantics, our PoetryDiffusion model, built upon the Diffusion model, generates entire sentences or poetry by comprehensively considering the entirety of sentence information. This approach enhances semantic expression, distinguishing it from autoregressive and large language models (LLMs). For metrical control, the separation feature of diffusion generation and its constraint control module enable us to flexibly incorporate a novel metrical controller to manipulate and evaluate metrics (format and rhythm). The denoising process in PoetryDiffusion allows for gradual enhancement of semantics and flexible integration of the metrical controller which can calculate and impose penalties on states that stray significantly from the target control distribution. Experimental results on two datasets demonstrate that our model outperforms existing models in automatic evaluation of semantic, metrical, and overall performance as well as human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google