D&M: Enriching E-commerce Videos with Sound Effects by Key Moment Detection and SFX Matching

要約

特定の製品を紹介するビデオは、電子商取引にとってますます重要になっています。
重要な瞬間は、特定の製品の初登場、その特徴的な機能のプレゼンテーション、購入リンクの存在などとして自然に存在します。これらの重要な瞬間に適切な効果音 (SFX) を追加したり、SFX によるビデオ装飾 (VDSFX) を行うのが、
ユーザーの魅力的なエクスペリエンスを向上させるために非常に重要です。
ビデオへの SFX の追加に関するこれまでの研究では、ビデオと SFX のマッチングを全体的なレベルで実行しており、特定の瞬間に SFX を追加する機能が欠けていました。
一方、ビデオのハイライト検出やビデオの瞬間の取得に関する以前の研究では、瞬間の位置特定のみが考慮されており、瞬間と SFX のマッチングはそのまま残されています。
対照的に、この論文では、キーモーメントの検出とモーメントと SFX のマッチングを同時に実行する統合手法である D&M を提案します。
さらに、新しい VDSFX タスクでは、電子商取引プラットフォームから大規模なデータセット SFX-Moment を構築します。
公平な比較を行うために、現在のビデオ瞬間検出手法の多くを新しいタスクに拡張することで、競争力のあるベースラインを構築します。
SFX-Moment に関する広範な実験により、提案された方法のベースラインを上回る優れたパフォーマンスが示されました。
コードとデータは公開されます。

要約(オリジナル)

Videos showcasing specific products are increasingly important for E-commerce. Key moments naturally exist as the first appearance of a specific product, presentation of its distinctive features, the presence of a buying link, etc. Adding proper sound effects (SFX) to these key moments, or video decoration with SFX (VDSFX), is crucial for enhancing the user engaging experience. Previous studies about adding SFX to videos perform video to SFX matching at a holistic level, lacking the ability of adding SFX to a specific moment. Meanwhile, previous studies on video highlight detection or video moment retrieval consider only moment localization, leaving moment to SFX matching untouched. By contrast, we propose in this paper D&M, a unified method that accomplishes key moment detection and moment to SFX matching simultaneously. Moreover, for the new VDSFX task we build a large-scale dataset SFX-Moment from an E-commerce platform. For a fair comparison, we build competitive baselines by extending a number of current video moment detection methods to the new task. Extensive experiments on SFX-Moment show the superior performance of the proposed method over the baselines. Code and data will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google