Structured Video Tokens @ Ego4D PNR Temporal Localization Challenge 2022

要約

このテクニカルレポートでは、Ego4Dポイントオブノーリターン（PNR）の時間的ローカリゼーションチャレンジに対するSViTアプローチについて説明します。
トレーニング中にのみ利用可能な少数の画像の構造を利用することでビデオモデルを改善する方法を示す学習フレームワークStructureViT（略してSViT）を提案します。
SViTは、2つの重要な洞察に依存しています。
まず、画像と動画の両方に構造化された情報が含まれているため、画像と動画で使用できる\emph{オブジェクトトークン}のセットでトランスフォーマーモデルを強化します。
次に、ビデオ内の個々のフレームのシーン表現は、静止画像のシーン表現と「整列」する必要があります。
これは、画像とビデオの間の構造化された情報の流れを保証する「フレームクリップの一貫性」の損失によって実現されます。
SViTは、0.656の絶対時間ローカリゼーションエラーでチャレンジテストセットで強力なパフォーマンスを取得します。

要約(オリジナル)

This technical report describes the SViT approach for the Ego4D Point of No Return (PNR) Temporal Localization Challenge. We propose a learning framework StructureViT (SViT for short), which demonstrates how utilizing the structure of a small number of images only available during training can improve a video model. SViT relies on two key insights. First, as both images and videos contain structured information, we enrich a transformer model with a set of \emph{object tokens} that can be used across images and videos. Second, the scene representations of individual frames in video should ‘align’ with those of still images. This is achieved via a ‘Frame-Clip Consistency’ loss, which ensures the flow of structured information between images and videos. SViT obtains strong performance on the challenge test set with 0.656 absolute temporal localization error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google