Siamese Vision Transformers are Scalable Audio-visual Learners

要約

従来のオーディオビジュアル手法は、独立したオーディオとビジュアルのバックボーンに依存しており、コストが高く、拡張性がありません。
この研究では、効率的かつスケーラブルなオーディオビジュアル事前トレーニングのためにオーディオビジュアル シャム ネットワーク (AVSiam) を使用することを調査します。
私たちのフレームワークは、単一の共有ビジョン トランスフォーマー バックボーンを使用してオーディオおよびビジュアル入力を処理し、パラメーター効率を向上させ、GPU メモリのフットプリントを削減し、メソッドをより大きなデータセットとモデル サイズに拡張できるようにします。
マルチレシオランダムマスキングスキームを備えた対照的なオーディオビジュアルマッチング目標を使用してモデルを事前トレーニングします。これにより、モデルがより大きなオーディオビジュアルインスタンスバッチを処理できるようになり、対比学習に役立ちます。
従来のオーディオビジュアル手法とは異なり、私たちの手法は、単一の共有 ViT バックボーンでオーディオ、ビジュアル、およびオーディオビジュアル入力を確実に処理できます。
さらに、AVSiam は、両方のモダリティで共有バックボーンを使用しているにもかかわらず、オーディオビジュアルの分類と検索において、AudioSet および VGGSound の従来の方法よりも優れた結果を達成しています。
私たちのコードは https://github.com/GenjiB/AVSiam で入手できます。

要約(オリジナル)

Traditional audio-visual methods rely on independent audio and visual backbones, which is costly and not scalable. In this work, we investigate using an audio-visual siamese network (AVSiam) for efficient and scalable audio-visual pretraining. Our framework uses a single shared vision transformer backbone to process audio and visual inputs, improving its parameter efficiency, reducing the GPU memory footprint, and allowing us to scale our method to larger datasets and model sizes. We pretrain our model using a contrastive audio-visual matching objective with a multi-ratio random masking scheme, which enables our model to process larger audio-visual instance batches, helpful for contrastive learning. Unlike prior audio-visual methods, our method can robustly handle audio, visual, and audio-visual inputs with a single shared ViT backbone. Furthermore, despite using the shared backbone for both modalities, AVSiam achieves competitive or even better results than prior methods on AudioSet and VGGSound for audio-visual classification and retrieval. Our code is available at https://github.com/GenjiB/AVSiam

arxiv情報

提供元, 利用サービス

arxiv.jp, Google