GliTr: Glimpse Transformers with Spatiotemporal Consistency for Online Action Prediction

要約

タイトル：オンライン動作予測のための時空間的一貫性を持つGlimpse Transformers（GliTr）

要約：

– オンライン動作予測モデルは、情報を提供するサブ領域であるglimpseを定位して気をつけるために完全なフレームを観察し、グローバルな情報やローカルな情報に基づいて進行中の動作を認識することが多い。
– しかしそのようなリソースが制限されたアプリケーションでは、エージェントが完全なフレームを観察できない場合でも、ローカルな情報だけをもとに不完全な動作を予測するために有用なglimpseを見つける必要がある。
– 本論文では、狭いglimpseのみを常に観察するGlimpse Transformers（GliTr）を開発し、これにより部分的な時空間情報に基づいて進行中の動作および次に最も情報が豊富なglimpseの位置を予測できるようになる。
– 動作認識のための最適なglimpseの場所に対する基準がないため、我々は独自の時空間的一貫性目的でGliTrをトレーニングする：GliTrには、対応する完全なフレーム（つまり、空間的一貫性）の特徴を持つglimpseに注目することを要求し、時間tでの結果的なクラスロジットはtまでの全フレームを使用して予測されたものと等しくなる必要がある（すなわち、時間的一貫性）。
– 提案された一貫性目的を含めると、基準のクロスエントロピー目的と比較して、Something-Something-v2（SSv2）データセットで約10％高い精度が得られる。全体として、1フレームあたりの合計面積の約33％しか観察していないにもかかわらず、GliTrはSSv2データセットで53.02％、Jesterデータセットで93.91％の精度を達成している。

要約(オリジナル)

Many online action prediction models observe complete frames to locate and attend to informative subregions in the frames called glimpses and recognize an ongoing action based on global and local information. However, in applications with constrained resources, an agent may not be able to observe the complete frame, yet must still locate useful glimpses to predict an incomplete action based on local information only. In this paper, we develop Glimpse Transformers (GliTr), which observe only narrow glimpses at all times, thus predicting an ongoing action and the following most informative glimpse location based on the partial spatiotemporal information collected so far. In the absence of a ground truth for the optimal glimpse locations for action recognition, we train GliTr using a novel spatiotemporal consistency objective: We require GliTr to attend to the glimpses with features similar to the corresponding complete frames (i.e. spatial consistency) and the resultant class logits at time $t$ equivalent to the ones predicted using whole frames up to $t$ (i.e. temporal consistency). Inclusion of our proposed consistency objective yields ~10% higher accuracy on the Something-Something-v2 (SSv2) dataset than the baseline cross-entropy objective. Overall, despite observing only ~33% of the total area per frame, GliTr achieves 53.02% and 93.91% accuracy on the SSv2 and Jester datasets, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI