LLM-driven Constrained Copy Generation through Iterative Refinement

要約

コピーがさまざまな制約を遵守する必要があるため、マーケティングメッセージ（コピー）またはコピーライティングの作成は挑戦的な世代のタスクです。
コピーの作成は、最初のドラフトから始まり、その後の連続した改良から始まる人間にとって本質的に反復的です。
ただし、手動のコピー作成は時間がかかり、高価であるため、各ユースケースに対してわずか数コピーしかできません。
この制限により、コンテンツを顧客にパーソナライズする能力が制限されます。
マニュアルアプローチとは反対に、LLMSはコピーを迅速に生成できますが、生成されたコンテンツは、最初の試み（人間と同様）のすべての制約を一貫して満たしていません。
最近の研究では、反復洗練による制約のある生成の改善に有望が示されていますが、主にいくつかの単純な制約しかないタスクに対処しています。
その結果、多くの複雑な制約を伴うコピー生成などのタスクの反復改良の有効性は不明のままです。
このギャップに対処するために、反復的な改良を使用して、スケーラブルなコピー生成のためのLLMベースのエンドツーエンドフレームワークを提案します。
私たちの知る限り、これはコピー生成において複数の挑戦的な制約に同時に対処する最初の研究です。
これらの制約の例には、長さ、トピック、キーワード、好ましい語彙順序、および音声トーンが含まれます。
さまざまな複雑さの3つの異なるユースケースのeコマースバナーのコピーを作成することにより、フレームワークのパフォーマンスを実証します。
私たちの結果は、反復的な改良により、コピーの成功率がユースケースで16.25-35.91 $％増加することを示しています。
さらに、私たちのアプローチを使用して生成されたコピーは、マルチアームのBanditフレームワークを使用して、複数のパイロット研究で手動で作成されたコンテンツよりも優れていました。
受賞コピーは、クリックスルーレートを38.5-45.21 $％改善しました。

要約(オリジナル)

Crafting a marketing message (copy), or copywriting is a challenging generation task, as the copy must adhere to various constraints. Copy creation is inherently iterative for humans, starting with an initial draft followed by successive refinements. However, manual copy creation is time-consuming and expensive, resulting in only a few copies for each use case. This limitation restricts our ability to personalize content to customers. Contrary to the manual approach, LLMs can generate copies quickly, but the generated content does not consistently meet all the constraints on the first attempt (similar to humans). While recent studies have shown promise in improving constrained generation through iterative refinement, they have primarily addressed tasks with only a few simple constraints. Consequently, the effectiveness of iterative refinement for tasks such as copy generation, which involves many intricate constraints, remains unclear. To address this gap, we propose an LLM-based end-to-end framework for scalable copy generation using iterative refinement. To the best of our knowledge, this is the first study to address multiple challenging constraints simultaneously in copy generation. Examples of these constraints include length, topics, keywords, preferred lexical ordering, and tone of voice. We demonstrate the performance of our framework by creating copies for e-commerce banners for three different use cases of varying complexity. Our results show that iterative refinement increases the copy success rate by $16.25-35.91$% across use cases. Furthermore, the copies generated using our approach outperformed manually created content in multiple pilot studies using a multi-armed bandit framework. The winning copy improved the click-through rate by $38.5-45.21$%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google