V2A-Mark: Versatile Deep Visual-Audio Watermarking for Manipulation Localization and Copyright Protection

要約

AI によって生成されたビデオは、ショート ビデオ制作、映画製作、パーソナライズされたメディアに革命をもたらし、ビデオのローカル編集が不可欠なツールとなっています。
しかし、この進歩は現実とフィクションの境界線を曖昧にし、マルチメディア法医学に課題をもたらしています。
この緊急の問題を解決するために、汎用性の低さ、単一機能、単一モダリティの焦点など、現在のビデオ改ざんフォレンジックの限界に対処する V2A-Mark が提案されています。
ビデオイントゥビデオステガノグラフィーの脆弱性と深く堅牢な透かしを組み合わせることで、私たちの方法は、目に見えない視覚音声ローカライゼーション透かしと著作権透かしを元のビデオフレームと音声に埋め込むことができ、正確な操作ローカライゼーションと著作権保護を可能にします。
また、時間的アライメントおよび融合モジュールと、位置特定の精度とデコードの堅牢性を強化するための劣化促進学習も設計します。
一方、サンプルレベルのオーディオ定位手法と、オーディオフレームとビデオフレームの情報を結合するクロスモーダル著作権抽出メカニズムを導入します。
V2A-Mark の有効性は視覚音声改ざんデータセットで検証されており、AIGC ビデオ時代のビデオ編集の持続可能な発展に不可欠な位置特定精度と著作権精度における優位性が強調されています。

要約(オリジナル)

AI-generated video has revolutionized short video production, filmmaking, and personalized media, making video local editing an essential tool. However, this progress also blurs the line between reality and fiction, posing challenges in multimedia forensics. To solve this urgent issue, V2A-Mark is proposed to address the limitations of current video tampering forensics, such as poor generalizability, singular function, and single modality focus. Combining the fragility of video-into-video steganography with deep robust watermarking, our method can embed invisible visual-audio localization watermarks and copyright watermarks into the original video frames and audio, enabling precise manipulation localization and copyright protection. We also design a temporal alignment and fusion module and degradation prompt learning to enhance the localization accuracy and decoding robustness. Meanwhile, we introduce a sample-level audio localization method and a cross-modal copyright extraction mechanism to couple the information of audio and video frames. The effectiveness of V2A-Mark has been verified on a visual-audio tampering dataset, emphasizing its superiority in localization precision and copyright accuracy, crucial for the sustainable development of video editing in the AIGC video era.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google