On the Importance of Spatial Relations for Few-shot Action Recognition

要約

ディープラーニングはビデオ認識で大きな成功を収めていますが、少数の例に直面した場合、新しいアクションを認識するのはまだ困難です。
この課題に取り組むために、ソース データセットから 1 つまたは少数のラベル付きビデオのみを含む新しいターゲット データセットに知識を伝達する、少数ショットのアクション認識方法が提案されています。
しかし、既存の方法は主にクエリとサポートビデオの間の時間的関係をモデル化することに焦点を当てており、空間的関係は無視されています。
この論文では、オブジェクト間の空間的な不整合がビデオでも発生し、特に時間的な不一致よりも一般的であることを発見しました。
したがって、私たちは空間関係の重要性を調査し、空間情報と時間情報の両方を活用する、より正確な数ショット動作認識方法を提案することに意欲的に取り組んでいます。
特に、空間関係を再調整することを学習し、時間情報を組み込む新しい空間アライメント クロス トランスフォーマー (SA-CT) が貢献されています。
実験の結果、時間情報をまったく使用しなくても、SA-CT のパフォーマンスは 3/4 ベンチマークで時間ベースの方法と同等であることが明らかになりました。
時間情報をさらに組み込むために、シンプルだが効果的な時間ミキサー モジュールを提案します。
テンポラル ミキサーはビデオ表現を強化し、完全な SA-CT モデルのパフォーマンスを向上させ、非常に競争力のある結果を達成します。
この研究では、数ショットのアクション認識のために大規模な事前訓練済みモデルも活用し、この研究の方向性に有用な洞察を提供します。

要約(オリジナル)

Deep learning has achieved great success in video recognition, yet still struggles to recognize novel actions when faced with only a few examples. To tackle this challenge, few-shot action recognition methods have been proposed to transfer knowledge from a source dataset to a novel target dataset with only one or a few labeled videos. However, existing methods mainly focus on modeling the temporal relations between the query and support videos while ignoring the spatial relations. In this paper, we find that the spatial misalignment between objects also occurs in videos, notably more common than the temporal inconsistency. We are thus motivated to investigate the importance of spatial relations and propose a more accurate few-shot action recognition method that leverages both spatial and temporal information. Particularly, a novel Spatial Alignment Cross Transformer (SA-CT) which learns to re-adjust the spatial relations and incorporates the temporal information is contributed. Experiments reveal that, even without using any temporal information, the performance of SA-CT is comparable to temporal based methods on 3/4 benchmarks. To further incorporate the temporal information, we propose a simple yet effective Temporal Mixer module. The Temporal Mixer enhances the video representation and improves the performance of the full SA-CT model, achieving very competitive results. In this work, we also exploit large-scale pretrained models for few-shot action recognition, providing useful insights for this research direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google