Align before Adapt: Leveraging Entity-to-Region Alignments for Generalizable Video Action Recognition

要約

大規模な視覚言語の事前トレーニング済みモデルは、さまざまなビデオ タスクで大きな成功を収めています。
ただし、既存の手法のほとんどは「adapt then align」パラダイムに従い、事前トレーニングされた画像エンコーダーをビデオレベル表現のモデル化に適応させ、監​​視のためにアクションラベルのワンホットまたはテキスト埋め込みを利用します。
このパラダイムは、静止画像から複雑なアクティビティ概念へのマッピングの課題を見落としています。
この論文では、新しい「Align before Adapt」(ALT) パラダイムを提案します。
ビデオ表現の学習に適応する前に、各フレームのエンティティと領域の位置合わせを利用します。
位置合わせは、領域を認識した画像埋め込みをオフラインで構築されたテキスト コーパスと照合することによって実現されます。
整列されたエンティティを使用して、そのテキスト埋め込みをクエリとしてトランスフォーマベースのビデオ アダプタに送ります。これは、ビデオから最も重要なエンティティのセマンティクスをベクトルに抽出するのに役立ちます。
このパラダイムは、適応中に VLP の視覚言語の調整を再利用し、基礎となるエンティティによるアクションを説明しようとします。
これは、特に馴染みのないカテゴリーや目に見えないカテゴリーに直面した場合に、複雑なアクティビティ セマンティクスとのギャップを埋めることでアクションを理解するのに役立ちます。
ALT は、驚くほど低い計算コストを維持しながら、競争力のあるパフォーマンスを発揮します。
完全に監視された実験では、Kinetics-400 でわずか 4947 GFLOP で 88.1% のトップ 1 精度を達成します。
さらに、ALT はゼロショット実験と少数ショット実験の両方で以前の最先端の手法を上回っており、さまざまな学習シナリオにわたってその優れた一般化可能性が強調されています。

要約(オリジナル)

Large-scale visual-language pre-trained models have achieved significant success in various video tasks. However, most existing methods follow an ‘adapt then align’ paradigm, which adapts pre-trained image encoders to model video-level representations and utilizes one-hot or text embedding of the action labels for supervision. This paradigm overlooks the challenge of mapping from static images to complicated activity concepts. In this paper, we propose a novel ‘Align before Adapt’ (ALT) paradigm. Prior to adapting to video representation learning, we exploit the entity-to-region alignments for each frame. The alignments are fulfilled by matching the region-aware image embeddings to an offline-constructed text corpus. With the aligned entities, we feed their text embeddings to a transformer-based video adapter as the queries, which can help extract the semantics of the most important entities from a video to a vector. This paradigm reuses the visual-language alignment of VLP during adaptation and tries to explain an action by the underlying entities. This helps understand actions by bridging the gap with complex activity semantics, particularly when facing unfamiliar or unseen categories. ALT demonstrates competitive performance while maintaining remarkably low computational costs. In fully supervised experiments, it achieves 88.1% top-1 accuracy on Kinetics-400 with only 4947 GFLOPs. Moreover, ALT outperforms the previous state-of-the-art methods in both zero-shot and few-shot experiments, emphasizing its superior generalizability across various learning scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google