BIPro: Zero-shot Chinese Poem Generation via Block Inverse Prompting Constrained Generation Framework

要約

最近、生成事前トレーニング モデルは大きな進歩を遂げ、特に優れたクロスドメイン機能を示す ChatGPT および GPT-4 のリリースによって強調されています。
ただし、これらのモデルは、オープンドメインのタイトルでの詩の生成など、制約のある執筆タスクにおいて依然として課題に直面しています。
この課題に応えて、Block Inverse Prompting (BIPro) 制約付き生成フレームワークを導入します。
BIPro は、ブロック生成モデルを使用して人間のテキスト作成プロセスを模倣する、改訂と再書き込みという 2 つのブロック逆プロンプト手法を活用します。
これにより、オープンドメインの伝統的な形式の漢詩生成という恐るべき制約付き生成タスクにおけるゼロショット生成の品質が大幅に向上します。
それほど強力ではないブロック生成モデル GLM-10B-中国語に基づいており、プライミングや追加のトレーニングを行わずに BIPro 経由で作成された詩は、GPT-4 や GLM-4 などの最先端の直接生成システムや、Yusheng、Shisanbai、
または熟練した詩人による人間評価における Baidu Poetry Helper。
最後に、BIPro は、AI によって生成された作品と、別の人間による評価で最終候補に挙げられた人間の文芸との間のギャップを大幅に縮め、制約付き生成の品質向上におけるブロック生成モデルの有望な可能性を明らかにしました。

要約(オリジナル)

Recently, generative pre-trained models have made significant strides, particularly highlighted by the release of ChatGPT and GPT-4, which exhibit superior cross-domain capabilities. However, these models still face challenges on constrained writing tasks like poem generation under open-domain titles. In response to this challenge, we introduce Block Inverse Prompting (BIPro) constrained generation framework. BIPro leverages two block inverse prompting methods, revise and rewrite, that mimic the process of human text writing using block generative models. It significantly improves the zero-shot generation quality on the formidable constrained generation task of open-domain traditional-form Chinese poem generation. Based on a less powerful block generative model GLM-10B-Chinese, poems composed via BIPro without priming or additional training outperform both most advanced direct generative systems like GPT-4 or GLM-4 and best domain-specific systems such as Yusheng, Shisanbai, or Baidu Poetry Helper in human evaluation by proficient poets. Finally, BIPro considerably narrows the gap between AI-generated works and short-listed human literary arts in another human evaluation, unveiling the promising potential of block generative models in improving the quality of constrained generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google