Video + CLIP Baseline for Ego4D Long-term Action Anticipation

要約

本報告では、画像テキストモデルの長期行動予測への適応について紹介する。我々のVideo + CLIPフレームワークは、事前に学習された大規模なペア画像テキストモデルを利用する。CLIPとビデオエンコーダーSlowfast networkを利用する。CLIPは行動に関連するオブジェクトのきめ細かい理解を提供し、Slowfastネットワークは数フレームのビデオクリップ内の時間情報をモデル化する役割を担う。我々は、両方のエンコーダから得られる特徴が互いに補完し合うことを示し、その結果、長期的な行動予測のタスクにおいて、Ego4D上のベースラインを上回る性能を発揮することを示す。我々のコードはgithub.com/srijandas07/clip_baseline_LTA_Ego4dで公開されています。

要約(オリジナル)

In this report, we introduce our adaptation of image-text models for long-term action anticipation. Our Video + CLIP framework makes use of a large-scale pre-trained paired image-text model: CLIP and a video encoder Slowfast network. The CLIP embedding provides fine-grained understanding of objects relevant for an action whereas the slowfast network is responsible for modeling temporal information within a video clip of few frames. We show that the features obtained from both encoders are complementary to each other, thus outperforming the baseline on Ego4D for the task of long-term action anticipation. Our code is available at github.com/srijandas07/clip_baseline_LTA_Ego4d.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL