Towards Unconstrained Audio Splicing Detection and Localization with Neural Networks

要約

タイトル：ニューラルネットワークを用いた自由な音声スプライスの検出と位置特定に向けて

要約：

– 音声編集ツールの利用が一般的になったことで、音声スプライスの作成が簡単になった。
– 同じ話者から複数の音声サンプルを組み合わせれば、説得力のある偽造音声が作成できる。
– このようなスプライスの検出は、誤情報を考慮する公序良俗の面だけでなく、証拠の信頼性を検証する法的な文脈でも重要である。
– しかし、ほとんどの既存のスプライス検出アルゴリズムは、手作業で作られた特徴量と具体的な仮定を使用している。
– 犯罪捜査官は、しばしば特質の不明な無制限な音声サンプルに直面し、より一般的に適用可能な方法が必要である。
– この研究では、自由な音声スプライスの検出に向けた最初のステップを踏み出すことを目的としている。
– スプライスを覆い隠す可能性のある事後処理操作の形式でさまざまな攻撃シナリオをシミュレートする。
– スプライス検出と位置決めのためのTransformerシーケンス・ツー・シーケンス(seq2seq)ネットワークを提案する。
– 広範な評価により、提案された方法がスプライス検出のための既存の専用アプローチ[3、10]、一般的な目的のネットワークEfficientNet [28]とRegNet [25]を上回る性能を示すことがわかった。

要約(オリジナル)

Freely available and easy-to-use audio editing tools make it straightforward to perform audio splicing. Convincing forgeries can be created by combining various speech samples from the same person. Detection of such splices is important both in the public sector when considering misinformation, and in a legal context to verify the integrity of evidence. Unfortunately, most existing detection algorithms for audio splicing use handcrafted features and make specific assumptions. However, criminal investigators are often faced with audio samples from unconstrained sources with unknown characteristics, which raises the need for more generally applicable methods. With this work, we aim to take a first step towards unconstrained audio splicing detection to address this need. We simulate various attack scenarios in the form of post-processing operations that may disguise splicing. We propose a Transformer sequence-to-sequence (seq2seq) network for splicing detection and localization. Our extensive evaluation shows that the proposed method outperforms existing dedicated approaches for splicing detection [3, 10] as well as the general-purpose networks EfficientNet [28] and RegNet [25].

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI