Detecting Synthetic Lyrics with Few-Shot Inference

要約

近年、音楽の生成コンテンツは大きな人気を集めており、大規模な言語モデルが効果的に利用されて、さまざまなスタイル、テーマ、言語構造で人間のような歌詞が生成されます。
この技術の進歩は、アーティストの創作プロセスをサポートしますが、著作権の侵害、消費者の満足度、コンテンツのスパムの問題も引き起こします。
これらの課題に対処するには、生成された歌詞を検出する方法が必要です。
しかし、既存の研究はまだ、この特定のモダリティや、機械生成されたコンテンツ検出方法とデータセットに関するクリエイティブ テキスト全般に焦点を当てていません。
これに応えて、私たちは高品質の合成歌詞の最初のデータセットを厳選し、さまざまな少数ショット コンテンツ検出アプローチの包括的な定量的評価を実施し、その一般化能力をテストし、これを人間による評価で補完しました。
LLM2Vec に基づく当社の最高の少数ショット検出器は、人間が書いたコンテンツと機械が生成したコンテンツを区別する点で他の分野で競合することが示されている文体的および統計的手法を上回っています。
また、新しいアーティストやモデルに対して優れた一般化機能を示し、世代後の言い換えを効果的に検出します。
この研究は、特に大規模な楽曲カタログでの一般化と拡張性の観点から、クリエイティブなコンテンツの検出に関するさらなる研究の必要性を強調しています。
すべてのデータセット、前処理スクリプト、コードは、Apache 2.0 ライセンスに基づいて GitHub および Hugging Face で公開されています。

要約(オリジナル)

In recent years, generated content in music has gained significant popularity, with large language models being effectively utilized to produce human-like lyrics in various styles, themes, and linguistic structures. This technological advancement supports artists in their creative processes but also raises issues of authorship infringement, consumer satisfaction and content spamming. To address these challenges, methods for detecting generated lyrics are necessary. However, existing works have not yet focused on this specific modality or on creative text in general regarding machine-generated content detection methods and datasets. In response, we have curated the first dataset of high-quality synthetic lyrics and conducted a comprehensive quantitative evaluation of various few-shot content detection approaches, testing their generalization capabilities and complementing this with a human evaluation. Our best few-shot detector, based on LLM2Vec, surpasses stylistic and statistical methods, which are shown competitive in other domains at distinguishing human-written from machine-generated content. It also shows good generalization capabilities to new artists and models, and effectively detects post-generation paraphrasing. This study emphasizes the need for further research on creative content detection, particularly in terms of generalization and scalability with larger song catalogs. All datasets, pre-processing scripts, and code are available publicly on GitHub and Hugging Face under the Apache 2.0 license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google