要約
メロディから歌詞への自動生成（M2L）は、与えられたメロディに沿った歌詞を作成することを目的としている。従来のほとんどのアプローチがゼロから歌詞を生成するのに対して、リビジョンはプレーンテキストの草稿を編集してメロディに合わせることで、より柔軟で実用的な代替案を提供する。これにより、柔軟な入力（キーワード、テーマ、または歌えるように洗練する必要のある全文）から歌詞を生成したり、歌の翻訳（メロディをそのままに、言語を超えて意味を保持する）、スタイルの変換（異なるジャンルに歌詞を適合させる）など、幅広い応用が可能になる。本論文では、メロディーに沿った歌詞を編集・生成するための初の改訂フレームワークであるREFFLY（REvision Framework For LYrics）を紹介する。メロディに沿った歌詞データセットを用いて歌詞修正モジュールを学習させ、プレーンテキストを与えられたメロディに沿った歌詞に変換できるようにする。改訂能力をさらに向上させるために、編集プロセス全体を通して意味的な意味と音楽的な一貫性の両方を保持することを目的とした訓練不要のヒューリスティックスを提案する。実験結果は、様々なタスク（歌詞生成、楽曲翻訳など）においてREFFLYの有効性を実証し、我々のモデルが、Lyra (Tian et al., 2023)やGPT-4を含む強力なベースラインを、音楽性とテキストの質の両方において25%上回ることを示している。
要約(オリジナル)
Automatic melody-to-lyric (M2L) generation aims to create lyrics that align with a given melody. While most previous approaches generate lyrics from scratch, revision, editing plain text draft to fit it into the melody, offers a much more flexible and practical alternative. This enables broad applications, such as generating lyrics from flexible inputs (keywords, themes, or full text that needs refining to be singable), song translation (preserving meaning across languages while keeping the melody intact), or style transfer (adapting lyrics to different genres). This paper introduces REFFLY (REvision Framework For LYrics), the first revision framework for editing and generating melody-aligned lyrics. We train the lyric revision module using our curated synthesized melody-aligned lyrics dataset, enabling it to transform plain text into lyrics that align with a given melody. To further enhance the revision ability, we propose training-free heuristics aimed at preserving both semantic meaning and musical consistency throughout the editing process. Experimental results demonstrate the effectiveness of REFFLY across various tasks (e.g. lyrics generation, song translation), showing that our model outperforms strong baselines, including Lyra (Tian et al., 2023) and GPT-4, by 25% in both musicality and text quality.
arxiv情報
| 著者 | Songyan Zhao,Bingxuan Li,Yufei Tian,Nanyun Peng |
| 発行日 | 2025-05-02 07:31:57+00:00 |
| arxivサイト | arxiv_id(pdf) |