WavMark: Watermarking for Audio Generation

要約

ゼロショット音声合成における最近の進歩により、高レベルのリアリズムを維持しながら、わずか数秒の録音を使用して話者の声を模倣することが可能になりました。
この強力なテクノロジーは、潜在的な利点に加えて、音声詐欺や話者になりすましなどの顕著なリスクももたらします。
合成データを検出するために受動的な方法のみに依存する従来のアプローチとは異なり、透かしは、これらの差し迫ったリスクに対して積極的かつ堅牢な防御メカニズムを提供します。
このペーパーでは、わずか 1 秒の音声スニペット内に最大 32 ビットの透かしをエンコードする革新的な音声透かしフレームワークを紹介します。
透かしは人間の感覚では感知できず、さまざまな攻撃に対して強い回復力を示します。
これは合成音声の効果的な識別子として機能し、オーディオ著作権保護においてより広範な用途に使用できる可能性を秘めています。
また、このフレームワークは高い柔軟性を誇り、複数のウォーターマークセグメントを組み合わせて堅牢性の向上と容量の拡張を実現します。
10 ～ 20 秒のオーディオをホストとして利用する私たちのアプローチは、10 種類の一般的な攻撃全体で平均ビット エラー レート (BER) が 0.48\% であり、最新の攻撃と比較して BER が 2800\% 以上大幅に減少していることを示しています。
アート透かしツール。
私たちの作品のデモについては、https://aka.ms/wavmark をご覧ください。

要約(オリジナル)

Recent breakthroughs in zero-shot voice synthesis have enabled imitating a speaker’s voice using just a few seconds of recording while maintaining a high level of realism. Alongside its potential benefits, this powerful technology introduces notable risks, including voice fraud and speaker impersonation. Unlike the conventional approach of solely relying on passive methods for detecting synthetic data, watermarking presents a proactive and robust defence mechanism against these looming risks. This paper introduces an innovative audio watermarking framework that encodes up to 32 bits of watermark within a mere 1-second audio snippet. The watermark is imperceptible to human senses and exhibits strong resilience against various attacks. It can serve as an effective identifier for synthesized voices and holds potential for broader applications in audio copyright protection. Moreover, this framework boasts high flexibility, allowing for the combination of multiple watermark segments to achieve heightened robustness and expanded capacity. Utilizing 10 to 20-second audio as the host, our approach demonstrates an average Bit Error Rate (BER) of 0.48\% across ten common attacks, a remarkable reduction of over 2800\% in BER compared to the state-of-the-art watermarking tool. See https://aka.ms/wavmark for demos of our work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google