Rethinking temporal self-similarity for repetitive action counting

要約

トリミングされていない長いビデオ内の反復アクションをカウントすることは、リハビリテーションなど多くの用途がある難しいタスクです。
最先端の方法では、最初にサンプリングされたフレームから時間的自己類似性行列 (TSM) を生成し、次にその行列を予測ネットワークに供給することでアクション数を予測します。
ただし、自己類似性行列はフレームごとの埋め込みから大量の情報を廃棄するため、ネットワークへの最適な入力とは言えません。
したがって、TSM を反復アクションのカウントに利用する方法を再考し、埋め込みを学習し、完全な時間解像度でアクション開始確率を予測するフレームワークを提案します。
繰り返されるアクションの数は、アクション開始確率から推測されます。
中間表現として TSM を使用する現在のアプローチとは対照的に、生成された参照 TSM に基づく新しい損失を提案します。これは、学習されたフレームごとの埋め込みの自己相似性が、繰り返されるアクションの自己相似性と一致することを強制します。
。
提案されたフレームワークは、RepCount、UCFRep、Countix の 3 つのデータセットで最先端の結果を達成します。

要約(オリジナル)

Counting repetitive actions in long untrimmed videos is a challenging task that has many applications such as rehabilitation. State-of-the-art methods predict action counts by first generating a temporal self-similarity matrix (TSM) from the sampled frames and then feeding the matrix to a predictor network. The self-similarity matrix, however, is not an optimal input to a network since it discards too much information from the frame-wise embeddings. We thus rethink how a TSM can be utilized for counting repetitive actions and propose a framework that learns embeddings and predicts action start probabilities at full temporal resolution. The number of repeated actions is then inferred from the action start probabilities. In contrast to current approaches that have the TSM as an intermediate representation, we propose a novel loss based on a generated reference TSM, which enforces that the self-similarity of the learned frame-wise embeddings is consistent with the self-similarity of repeated actions. The proposed framework achieves state-of-the-art results on three datasets, i.e., RepCount, UCFRep, and Countix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google