Rhyme-aware Chinese lyric generator based on GPT

要約

大規模なコーパスで事前トレーニングされた GPT などの神経言語表現モデルは、プレーン テキストから豊富な意味パターンを効果的にキャプチャし、微調整して自然言語生成のパフォーマンスを一貫して向上させることができます。
しかし、歌詞の生成に使用される既存の事前トレーニング済み言語モデルでは、歌詞において重要な韻情報がほとんど考慮されていません。
事前トレーニングされたモデルを使用すると、パフォーマンスの低下に直接つながります。
生成される歌詞の韻の質を高めるために、統合された韻の情報をモデルに組み込むことで、歌詞生成のパフォーマンスが向上します。

要約(オリジナル)

Neural language representation models such as GPT, pre-trained on large-scale corpora, can effectively capture rich semantic patterns from plain text and be fine-tuned to consistently improve natural language generation performance. However, existing pre-trained language models used to generate lyrics rarely consider rhyme information, which is crucial in lyrics. Using a pre-trained model directly results in poor performance. To enhance the rhyming quality of generated lyrics, we incorporate integrated rhyme information into our model, thereby improving lyric generation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google