Encoder-Decoder Framework for Interactive Free Verses with Generation with Controllable High-Quality Rhyming

要約

詩や歌詞の作曲にはいくつかの創造的な要素が含まれますが、生成の困難な側面は、多かれ少なかれ厳格な韻律と韻のパターンに従うことです。
この課題に具体的に対処するために、このタスクに関するこれまでの研究は主に逆言語モデリングに焦点を当ててきました。これにより、韻を踏む各単語の重要な選択が各詩の最前面に表示されます。
一方、語順を逆にするには、このタスク固有の目標に基づいてモデルを最初からトレーニングする必要があり、事前トレーニング済み言語モデル (PLM) からの転移学習を利用できません。
私たちは、各歌詞の先頭に韻を踏む単語を付加する新しい微調整アプローチを提案します。これにより、モデルが歌詞の内容にコミットする前に (逆言語モデリング中など)、互換性を維持しながら重要な韻の決定を行うことができます。
歌詞自体は依然として左から右の順序で生成されるため、通常の PLM の語順を使用します。
私たちはこの微調整を現在の最先端の押韻戦略と比較するために広範な実験を実施し、私たちのアプローチがより読みやすいテキストとより優れた押韻機能を生成することを発見しました。
さらに、英語とその他 12 言語の高品質のデータセットを提供し、多言語コンテキストでのアプローチの実現可能性を分析し、歌詞生成の良い習慣と悪い習慣を明らかにする広範な実験結果を提供し、将来方法を比較するための指標を提案します。

要約(オリジナル)

Composing poetry or lyrics involves several creative factors, but a challenging aspect of generation is the adherence to a more or less strict metric and rhyming pattern. To address this challenge specifically, previous work on the task has mainly focused on reverse language modeling, which brings the critical selection of each rhyming word to the forefront of each verse. On the other hand, reversing the word order requires that models be trained from scratch with this task-specific goal and cannot take advantage of transfer learning from a Pretrained Language Model (PLM). We propose a novel fine-tuning approach that prepends the rhyming word at the start of each lyric, which allows the critical rhyming decision to be made before the model commits to the content of the lyric (as during reverse language modeling), but maintains compatibility with the word order of regular PLMs as the lyric itself is still generated in left-to-right order. We conducted extensive experiments to compare this fine-tuning against the current state-of-the-art strategies for rhyming, finding that our approach generates more readable text and better rhyming capabilities. Furthermore, we furnish a high-quality dataset in English and 12 other languages, analyse the approach’s feasibility in a multilingual context, provide extensive experimental results shedding light on good and bad practices for lyrics generation, and propose metrics to compare methods in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google