Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio

要約

制約付き自然言語生成の分野は急速に進歩しているにもかかわらず、語彙が語彙的、意味論的、および/または音声学的に制約された言語モデルの可能性を探ることにはほとんど時間が費やされていません。
ほとんどの言語モデルは、重大な制約の下でも説得力のあるテキストを生成することがわかりました。
テキスト単位が生成される前に、言語モデルの語彙にフィルター関数を構成的に適用することにより、言語モデルの出力を変更するための、シンプルで普遍的に適用可能な手法を紹介します。
このアプローチはプラグアンドプレイであり、モデルを変更する必要はありません。
この手法の価値を示すために、Constrained Text Generation Studio (CTGS) と呼ばれる使いやすい AI ライティング アシスタントを紹介します。
CTGS を使用すると、ユーザーは、特定の文字を禁止したり、生成された単語に特定の音節数を強制したり、単語を別の単語の部分的なアナグラムにするなど、さまざまな制約を任意に組み合わせてテキストを生成したり、テキストから選択したりすることができます。
言葉。
文字 e を省略した新しい散文データセットを紹介します。
このデータセットに対する微調整のみと比較して、私たちの方法が厳密に優れたパフォーマンスをもたらすことを示します。
また、Gadsby と呼ばれるこの技術を提供する Huggingface スペース Web アプリも紹介します。
コードはここで公開されています: https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio

要約(オリジナル)

Despite rapid advancement in the field of Constrained Natural Language Generation, little time has been spent on exploring the potential of language models which have had their vocabularies lexically, semantically, and/or phonetically constrained. We find that most language models generate compelling text even under significant constraints. We present a simple and universally applicable technique for modifying the output of a language model by compositionally applying filter functions to the language models vocabulary before a unit of text is generated. This approach is plug-and-play and requires no modification to the model. To showcase the value of this technique, we present an easy to use AI writing assistant called Constrained Text Generation Studio (CTGS). CTGS allows users to generate or choose from text with any combination of a wide variety of constraints, such as banning a particular letter, forcing the generated words to have a certain number of syllables, and/or forcing the words to be partial anagrams of another word. We introduce a novel dataset of prose that omits the letter e. We show that our method results in strictly superior performance compared to fine-tuning alone on this dataset. We also present a Huggingface space web-app presenting this technique called Gadsby. The code is available to the public here: https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio

arxiv情報

提供元, 利用サービス

arxiv.jp, Google