Vision Transformers are Parameter-Efficient Audio-Visual Learners

要約

ビジョン トランスフォーマー (ViT) は、過去数年間にさまざまなコンピューター ビジョン タスクで目覚ましい成果を上げてきました。
この作業では、視覚データのみで事前トレーニングされた凍結された ViT の機能を研究し、元のパラメーターを微調整せずにオーディオビジュアル データに一般化します。
そのために、凍結されたViTのすべてのレイヤーに少数のトレーニング可能なパラメーターを注入することにより、事前トレーニング済みのViTをオーディオビジュアルタスクに適応させる潜在的なオーディオビジュアルハイブリッド（LAVISH）アダプターを提案します。
視覚的キューと聴覚的キューを効率的に融合するために、LAVISH アダプターは潜在的なトークンの小さなセットを使用します。これは注意のボトルネックを形成し、標準的な相互注意の二次コストを排除します。
既存のモダリティ固有のオーディオビジュアル方法と比較して、私たちのアプローチは、コストのかかるオーディオ事前トレーニングや外部オーディオエンコーダーに依存することなく、より少ない調整可能なパラメーターを使用しながら、さまざまなオーディオビジュアルタスクで競争力のある、またはさらに優れたパフォーマンスを実現します。
コードは https://genjib.github.io/project_page/LAVISH/ で入手できます。

要約(オリジナル)

Vision transformers (ViTs) have achieved impressive results on various computer vision tasks in the last several years. In this work, we study the capability of frozen ViTs, pretrained only on visual data, to generalize to audio-visual data without finetuning any of its original parameters. To do so, we propose a latent audio-visual hybrid (LAVISH) adapter that adapts pretrained ViTs to audio-visual tasks by injecting a small number of trainable parameters into every layer of a frozen ViT. To efficiently fuse visual and audio cues, our LAVISH adapter uses a small set of latent tokens, which form an attention bottleneck, thus, eliminating the quadratic cost of standard cross-attention. Compared to the existing modality-specific audio-visual methods, our approach achieves competitive or even better performance on various audio-visual tasks while using fewer tunable parameters and without relying on costly audio pretraining or external audio encoders. Our code is available at https://genjib.github.io/project_page/LAVISH/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google