Solving Copyright Infringement on Short Video Platforms: Novel Datasets and an Audio Restoration Deep Learning Pipeline

要約

YouTube ShortsやTiktokのような短いビデオプラットフォームは、著作権のコンプライアンスの重要な課題に直面しています。侵害者は、任意のバックグラウンドミュージック（BGM）を頻繁に組み込み、オリジナルのサウンドトラック（OST）を不明瞭にし、コンテンツの独創性検出を回避します。
この問題に取り組むために、音楽ソース分離（MSS）とクロスモーダルビデオ音楽検索（CMVMR）を統合する新しいパイプラインを提案します。
私たちのアプローチは、任意のBGMを元のOSTから効果的に分離し、本物のビデオオーディオトラックの修復を可能にします。
この作業をサポートするために、2つのドメイン固有のデータセットを紹介します。オーディオ分離用のOASD-20K、パイプライン評価にはOSVAR-160を紹介します。
OASD-20Kには、混合BGMとOSTペアを備えた20,000のオーディオクリップが含まれていますが、OSVAR160は、短いビデオ修復タスク用に特別に設計された1,121のビデオと混合オーディオペアを含むユニークなベンチマークデータセットです。
実験結果は、パイプラインが任意のBGMを高精度で除去するだけでなく、OSTを回復し、コンテンツの完全性を確保することを示しています。
このアプローチは、短いビデオプラットフォーム上のユーザー生成コンテンツの著作権課題に対する倫理的でスケーラブルなソリューションを提供します。

要約(オリジナル)

Short video platforms like YouTube Shorts and TikTok face significant copyright compliance challenges, as infringers frequently embed arbitrary background music (BGM) to obscure original soundtracks (OST) and evade content originality detection. To tackle this issue, we propose a novel pipeline that integrates Music Source Separation (MSS) and cross-modal video-music retrieval (CMVMR). Our approach effectively separates arbitrary BGM from the original OST, enabling the restoration of authentic video audio tracks. To support this work, we introduce two domain-specific datasets: OASD-20K for audio separation and OSVAR-160 for pipeline evaluation. OASD-20K contains 20,000 audio clips featuring mixed BGM and OST pairs, while OSVAR160 is a unique benchmark dataset comprising 1,121 video and mixed-audio pairs, specifically designed for short video restoration tasks. Experimental results demonstrate that our pipeline not only removes arbitrary BGM with high accuracy but also restores OSTs, ensuring content integrity. This approach provides an ethical and scalable solution to copyright challenges in user-generated content on short video platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google