Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

要約

「マッチカット」は、同様の構成を持つ 2 つのショットが一方からもう一方に流れるように移行する一般的なビデオ編集テクニックです。
多くの場合、マッチ カットは視覚的に表現されますが、特定のマッチ カットにはオーディオの流動的なトランジションが含まれており、異なるソースからのサウンドが 2 つのショット間の 1 つの区別できないトランジションにマージされます。
このペーパーでは、ビデオや映画内の「オーディオ マッチ カット」を自動的に検索して作成する機能について検討します。
私たちは、オーディオ マッチ カッティングのための自己監視型オーディオ表現を作成し、マッチング ショットを推奨してブレンドされたオーディオを作成する、粗いオーディオ マッチから細かいオーディオ マッチ パイプラインを開発します。
さらに、提案されたオーディオ マッチ カット タスクのデータセットに注釈を付け、複数のオーディオ表現の能力を比較してオーディオ マッチ カット候補を見つけます。
最後に、スムーズな移行を作成することを目的として、2 つの一致する音声候補をブレンドするための複数の方法を評価します。
プロジェクト ページとサンプルは、https://denfed.github.io/audiomatchcut/ から入手できます。

要約(オリジナル)

A ‘match cut’ is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create ‘audio match cuts’ within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google