Audio-Visual Contrastive Learning with Temporal Self-Supervision

要約

人間の監督なしで RGB フレームと付随するオーディオの両方の表現を学習するビデオの自己教師あり学習アプローチを提案します。
静的なシーンの外観をキャプチャする画像とは対照的に、ビデオにはサウンドと時間的なシーンのダイナミクスも含まれます。
ビデオに固有の時間的および聴覚的次元を活用するために、私たちの方法は時間的自己監督を視聴覚設定に拡張し、それをマルチモーダルな対照的な目的と統合します。
一時的な自己監視として、両方のモダリティで再生速度と方向認識を提示し、モーダル内およびモーダル間の時間的順序付けタスクを提案します。
さらに、進化する特徴空間からサンプリングされた追加のサンプル依存のポジティブとネガティブで通常のペアが補足される、新しい対照的な目的を設計します。
私たちのモデルでは、ビデオ クリップ間、およびビデオと時間的に対応するオーディオ クリップ間で、このような損失を適用します。
大規模なアブレーション実験でモデル設計を検証し、UCF101 と HMBD51 での動作認識と検索、ESC50 での音声分類、VGG-Sound での堅牢なビデオ フィンガープリンティングへの転送実験でビデオとオーディオ表現を評価します。
アートの結果。

要約(オリジナル)

We propose a self-supervised learning approach for videos that learns representations of both the RGB frames and the accompanying audio without human supervision. In contrast to images that capture the static scene appearance, videos also contain sound and temporal scene dynamics. To leverage the temporal and aural dimension inherent to videos, our method extends temporal self-supervision to the audio-visual setting and integrates it with multi-modal contrastive objectives. As temporal self-supervision, we pose playback speed and direction recognition in both modalities and propose intra- and inter-modal temporal ordering tasks. Furthermore, we design a novel contrastive objective in which the usual pairs are supplemented with additional sample-dependent positives and negatives sampled from the evolving feature space. In our model, we apply such losses among video clips and between videos and their temporally corresponding audio clips. We verify our model design in extensive ablation experiments and evaluate the video and audio representations in transfer experiments to action recognition and retrieval on UCF101 and HMBD51, audio classification on ESC50, and robust video fingerprinting on VGG-Sound, with state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google