Bringing Image Scene Structure to Video via Frame-Clip Consistency of Object Tokens

要約

最近の行動認識モデルは、オブジェクト、その位置、および相互作用を統合することにより、印象的な結果を達成しています。
ただし、フレームごとに高密度の構造化アノテーションを取得するのは面倒で時間がかかるため、これらのメソッドのトレーニングには費用がかかり、スケーラビリティが低下します。
同時に、関心のあるドメインの内外で注釈付き画像の小さなセットが利用できる場合、これらをビデオダウンストリームタスクにどのように活用できますか？
トレーニング中にのみ利用可能な少数の画像の構造を利用することでビデオモデルを改善する方法を示す学習フレームワークStructureViT（略してSViT）を提案します。
SViTは、2つの重要な洞察に依存しています。
まず、画像と動画の両方に構造化された情報が含まれているため、画像と動画で使用できる\emph{オブジェクトトークン}のセットでトランスフォーマーモデルを強化します。
次に、ビデオ内の個々のフレームのシーン表現は、静止画像のシーン表現と「整列」する必要があります。
これは、\ emph {Frame-Clip Consistency}の損失によって実現され、画像と動画の間の構造化された情報の流れを保証します。
シーン構造の特定のインスタンス化、つまり、ノードとしての位置を持つ手とオブジェクト、およびエッジとしての接触/非接触の物理的関係で構成される\emph{ハンドオブジェクトグラフ}を調査します。
SViTは、複数のビデオ理解タスクとデータセットで強力なパフォーマンスの向上を示しています。
さらに、Ego4DCVPR’22オブジェクト状態ローカリゼーションチャレンジで優勝しました。
コードと事前トレーニング済みモデルについては、\url{https://eladb3.github.io/SViT/}のプロジェクトページにアクセスしてください。

要約(オリジナル)

Recent action recognition models have achieved impressive results by integrating objects, their locations and interactions. However, obtaining dense structured annotations for each frame is tedious and time-consuming, making these methods expensive to train and less scalable. At the same time, if a small set of annotated images is available, either within or outside the domain of interest, how could we leverage these for a video downstream task? We propose a learning framework StructureViT (SViT for short), which demonstrates how utilizing the structure of a small number of images only available during training can improve a video model. SViT relies on two key insights. First, as both images and videos contain structured information, we enrich a transformer model with a set of \emph{object tokens} that can be used across images and videos. Second, the scene representations of individual frames in video should ‘align’ with those of still images. This is achieved via a \emph{Frame-Clip Consistency} loss, which ensures the flow of structured information between images and videos. We explore a particular instantiation of scene structure, namely a \emph{Hand-Object Graph}, consisting of hands and objects with their locations as nodes, and physical relations of contact/no-contact as edges. SViT shows strong performance improvements on multiple video understanding tasks and datasets. Furthermore, it won in the Ego4D CVPR’22 Object State Localization challenge. For code and pretrained models, visit the project page at \url{https://eladb3.github.io/SViT/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google