MoQuad: Motion-focused Quadruple Construction for Video Contrastive Learning

要約

効果的なモーション機能を学習することは、ビデオ表現学習の本質的な追求です。
このホワイト ペーパーでは、ビデオ コントラスト学習における動きの特徴の学習を促進するための、シンプルでありながら効果的なサンプル構築戦略を紹介します。
Motion-focused Quadruple Construction（MoQuad）と呼ばれる提案された方法は、モデルがモーションを利用するように奨励されるように、ポジティブサンプルとネガティブサンプルの両方の外観とモーションを細心の注意を払って乱して、各ビデオインスタンスのクワッドを作成することにより、インスタンスの識別を強化します。
情報。
モーション機能を学習するための追加の補助タスクを作成したり、明示的な時間モデリングを適用したりする最近のアプローチとは異なり、私たちの方法は、マルチタスク学習や追加のモデリングなしで、シンプルでクリーンな対照学習パラダイム (つまり、SimCLR) を維持します。
さらに、最初の MoQuad 実験を分析することにより、2 つの追加のトレーニング戦略を設計します。
MoQuad を SimCLR に適用するだけで、最先端の技術と比較して、ダウンストリーム タスクで優れたパフォーマンスを達成できることが広範な実験で示されています。
特に、UCF-101 アクション認識タスクでは、Kinetics-400 でモデルを 200 エポックだけ事前トレーニングした後、93.7% の精度を達成し、さまざまな以前の方法を上回っています。

要約(オリジナル)

Learning effective motion features is an essential pursuit of video representation learning. This paper presents a simple yet effective sample construction strategy to boost the learning of motion features in video contrastive learning. The proposed method, dubbed Motion-focused Quadruple Construction (MoQuad), augments the instance discrimination by meticulously disturbing the appearance and motion of both the positive and negative samples to create a quadruple for each video instance, such that the model is encouraged to exploit motion information. Unlike recent approaches that create extra auxiliary tasks for learning motion features or apply explicit temporal modelling, our method keeps the simple and clean contrastive learning paradigm (i.e.,SimCLR) without multi-task learning or extra modelling. In addition, we design two extra training strategies by analyzing initial MoQuad experiments. By simply applying MoQuad to SimCLR, extensive experiments show that we achieve superior performance on downstream tasks compared to the state of the arts. Notably, on the UCF-101 action recognition task, we achieve 93.7% accuracy after pre-training the model on Kinetics-400 for only 200 epochs, surpassing various previous methods

arxiv情報

提供元, 利用サービス

arxiv.jp, Google