Controlling keywords and their positions in text generation

要約

タイトル：テキスト生成においてのキーワードとその位置の制御

要約：
– テキスト生成において、ユーザーが意図した通りに生成されるように制御することは、課題の一つである。
– 過去の研究では、生成されたテキストに含めるべきキーワードを指定することが提案されてきたが、それだけでは、ユーザーの意図を反映するテキストが生成されない場合がある。
– 本論文では、テキスト生成において、キーワードだけでなく、その位置も制御するという新しいタスクに取り組み、特別なトークンを使用してキーワードの相対位置を制御する方法を提案している。
– 要約と物語生成のタスクでの実験結果から、提案手法がキーワードとその位置を制御できることが示されている。また、キーワードの位置を制御することで、ベースラインよりもユーザーの意図に近い要約テキストが生成されることも示されている。
– コードも公開されている。

要約(オリジナル)

One of the challenges in text generation is to control generation as intended by a user. Previous studies have proposed to specify the keywords that should be included in the generated text. However, this is insufficient to generate text which reflect the user intent. For example, placing the important keyword beginning of the text would helps attract the reader’s attention, but existing methods do not enable such flexible control. In this paper, we tackle a novel task of controlling not only keywords but also the position of each keyword in the text generation. To this end, we show that a method using special tokens can control the relative position of keywords. Experimental results on summarization and story generation tasks show that the proposed method can control keywords and their positions. We also demonstrate that controlling the keyword positions can generate summary texts that are closer to the user’s intent than baseline. We release our code.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI