要約
歌詞生成は、自然言語生成研究におけるよく知られた応用例であり、これまでのいくつかの研究では、キーワードや韻などの正確な制御を使用して正確な歌詞を生成することに焦点を当てていました。しかし、スタイルや内容を模倣して新しい歌詞を書くことを含む歌詞模倣については、
ソース歌詞の翻訳は、対訳コーパスが不足しているため、依然として困難な作業です。
この論文では、ソース歌詞のテキストに基づいて新しい歌詞を生成できる中国語歌詞模倣システム \textbf{\textit{Sudowoodo}} を紹介します。
歌詞模倣のための並列トレーニングコーパスが不足しているという問題に対処するために、ソース歌詞からのキーワードベースの歌詞モデルに基づいて並列コーパスを構築するための新しいフレームワークを提案します。
次に、ペア \textit{(新しい歌詞, ソース歌詞)} を使用して歌詞模倣モデルをトレーニングします。
推論プロセス中に、後処理モジュールを利用して生成された歌詞をフィルタリングしてランク付けし、最高品質の歌詞を選択します。
音声情報を組み込み、歌詞を音声と合わせてボーナスとして曲を形成しました。
人間による評価の結果は、私たちのフレームワークがより優れた歌詞模倣を実行できることを示しています。
一方、\textit{Sudowoodo} システムとシステムのデモ ビデオは、\href{https://Sudowoodo.apps-hp.danlu.netease.com/}{Sudowoodo} および \href{https://youtu で入手できます。
.be/u5BBT_j1L5M}{https://youtu.be/u5BBT\_j1L5M}。
要約(オリジナル)
Lyrics generation is a well-known application in natural language generation research, with several previous studies focusing on generating accurate lyrics using precise control such as keywords, rhymes, etc. However, lyrics imitation, which involves writing new lyrics by imitating the style and content of the source lyrics, remains a challenging task due to the lack of a parallel corpus. In this paper, we introduce \textbf{\textit{Sudowoodo}}, a Chinese lyrics imitation system that can generate new lyrics based on the text of source lyrics. To address the issue of lacking a parallel training corpus for lyrics imitation, we propose a novel framework to construct a parallel corpus based on a keyword-based lyrics model from source lyrics. Then the pairs \textit{(new lyrics, source lyrics)} are used to train the lyrics imitation model. During the inference process, we utilize a post-processing module to filter and rank the generated lyrics, selecting the highest-quality ones. We incorporated audio information and aligned the lyrics with the audio to form the songs as a bonus. The human evaluation results show that our framework can perform better lyric imitation. Meanwhile, the \textit{Sudowoodo} system and demo video of the system is available at \href{https://Sudowoodo.apps-hp.danlu.netease.com/}{Sudowoodo} and \href{https://youtu.be/u5BBT_j1L5M}{https://youtu.be/u5BBT\_j1L5M}.
arxiv情報
| 著者 | Yongzhu Chang,Rongsheng Zhang,Lin Jiang,Qihang Chen,Le Zhang,Jiashu Pu |
| 発行日 | 2023-08-09 02:12:04+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google