MoLo: Motion-augmented Long-short Contrastive Learning for Few-shot Action Recognition

要約

タイトル – MoLo：Motion-augmented Long-short Contrastive LearningによるFew-shot Action Recognition

要約:
– 少数ショットアクション認識に対する最先端のアプローチは、学習された視覚特徴のフレームレベルのマッチングを実行することによって、有望な性能を達成しています。
– しかしながら、一般的に、i) ローカルフレーム間のマッチング手順は、長距離の時間的感覚を強制するためのガイダンスの欠如により、不正確になる傾向がある。 ii) 明示的なモーション学習は通常無視され、部分的な情報の損失を引き起こします。
– これらの問題に対処するために、Motion-augmented Long-short Contrastive Learning（MoLo）手法を開発しました。MoLoには、long-short contrastive objectiveとmotion autodecoderの2つの重要なコンポーネントが含まれます。
– 具体的には、long-short contrastive objectiveは、同じクラスに属するビデオのグローバルトークンと一致するように、ローカルフレーム特徴に長い形式の時間的意識を与えることです。
– motion autodecoderは、差分特徴からピクセルモーションを再構築するための軽量アーキテクチャであり、ネットワークに明示的にモーションダイナミックスを埋め込んでいます。
– これにより、MoLoは、包括的なfew-shotマッチングのための長距離時間的コンテキストとモーションクエを同時に学習することができます。
– 効果を示すために、MoLoを5つの標準ベンチマークで評価し、その結果、MoLoは最近の高度な方法を優れて上回ることが示されました。源コードはhttps://github.com/alibaba-mmai-research/MoLoで入手可能です。

要約(オリジナル)

Current state-of-the-art approaches for few-shot action recognition achieve promising performance by conducting frame-level matching on learned visual features. However, they generally suffer from two limitations: i) the matching procedure between local frames tends to be inaccurate due to the lack of guidance to force long-range temporal perception; ii) explicit motion learning is usually ignored, leading to partial information loss. To address these issues, we develop a Motion-augmented Long-short Contrastive Learning (MoLo) method that contains two crucial components, including a long-short contrastive objective and a motion autodecoder. Specifically, the long-short contrastive objective is to endow local frame features with long-form temporal awareness by maximizing their agreement with the global token of videos belonging to the same class. The motion autodecoder is a lightweight architecture to reconstruct pixel motions from the differential features, which explicitly embeds the network with motion dynamics. By this means, MoLo can simultaneously learn long-range temporal context and motion cues for comprehensive few-shot matching. To demonstrate the effectiveness, we evaluate MoLo on five standard benchmarks, and the results show that MoLo favorably outperforms recent advanced methods. The source code is available at https://github.com/alibaba-mmai-research/MoLo.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI