A Proactive and Dual Prevention Mechanism against Illegal Song Covers empowered by Singing Voice Conversion

要約

歌声変換 (SVC) は、ある歌手の歌声を、元の歌詞とメロディーを備えた別のターゲット歌手の歌声に変換することにより、曲のカバーを自動化します。
しかし、これは複数の団体に対する著作権と公民権の侵害に関する深刻な懸念を引き起こします。
この研究では、SVC ベースの違法な曲カバーを軽減するための最初の積極的なアプローチである SongBsAb を提案しています。
SongBsAb は、歌声を解放する前に人間には知覚できない摂動を歌声に導入するため、使用すると SVC の生成プロセスが干渉され、予想外の歌声が生成されます。
SongBsAb は、（歌手の）アイデンティティの破壊と歌詞の破壊の両方を引き起こすことによる二重の防止効果を特徴とします。つまり、SVC でカバ​​ーされた歌声は、対象の歌手を模倣することも、元の歌詞を保存することもありません。
摂動の知覚しやすさを改善するために、通常の話し声と比較して歌声に特有の付随要素であるバッキング トラックを追加のマスカーとして使用して、心理音響モデルに基づく損失を改良します。
転送可能性を高めるために、フレームレベルのインタラクション削減ベースの損失を利用することを提案します。
我々は、客観的指標とヒト研究に基づく主観的指標の両方を使用して、3 つの SVC モデルと 2 つのデータセットで SongBsAb の予防効果、有用性、堅牢性を実証します。
私たちの研究は、違法な自動曲カバーを軽減するための新たな研究の方向性を促進します。

要約(オリジナル)

Singing voice conversion (SVC) automates song covers by converting one singer’s singing voice into another target singer’s singing voice with the original lyrics and melody. However, it raises serious concerns about copyright and civil right infringements to multiple entities. This work proposes SongBsAb, the first proactive approach to mitigate unauthorized SVC-based illegal song covers. SongBsAb introduces human-imperceptible perturbations to singing voices before releasing them, so that when they are used, the generation process of SVC will be interfered, resulting in unexpected singing voices. SongBsAb features a dual prevention effect by causing both (singer) identity disruption and lyric disruption, namely, the SVC-covered singing voice neither imitates the target singer nor preserves the original lyrics. To improve the imperceptibility of perturbations, we refine a psychoacoustic model-based loss with the backing track as an additional masker, a unique accompanying element for singing voices compared to ordinary speech voices. To enhance the transferability, we propose to utilize a frame-level interaction reduction-based loss. We demonstrate the prevention effectiveness, utility, and robustness of SongBsAb on three SVC models and two datasets using both objective and human study-based subjective metrics. Our work fosters an emerging research direction for mitigating illegal automated song covers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google