DOAD: Decoupled One Stage Action Detection Network

要約

タイトル：DOAD：Decoupled One Stage Action Detection Network

要約：

– DOADは、人のローカライズと彼らの行動の認識をビデオから行う高度なビデオ理解に向けた課題を解決するための新しい方法である。
– 現存する手法は、主に2段階ベースであり、人のバウンディングボックス生成用に1段階、そして行動識別用にもう1段階を含んでいる。しかし、このような手法は一般的に効率が低い。
– DOADは、検出と行動識別を2つの枝に分離することで、上記の問題を緩和し、空間-時間行動検出の効率を向上させる。
– アクションブランチのために、ペアワイズ関係をモデリングするためのトランスフォーマーベースのモジュール (TransPC) を設計する。このモジュールは、自己注意において一般的に使用されるベクトルベースのドット積とは異なり、Hadamard attentionに対して新しい行列ベースのキーと値に基づいて構築され、人-コンテキスト情報をモデル化する。これは、人ペア間の関係を利用するだけでなく、コンテキストと相対位置情報も考慮に入れる。
– AVAとUCF101-24のデータセットの結果から、DOADは、2段階最先端手法と競合しながら、かなりの効率改善を達成していることがわかる。

要約(オリジナル)

Localizing people and recognizing their actions from videos is a challenging task towards high-level video understanding. Existing methods are mostly two-stage based, with one stage for person bounding box generation and the other stage for action recognition. However, such two-stage methods are generally with low efficiency. We observe that directly unifying detection and action recognition normally suffers from (i) inferior learning due to different desired properties of context representation for detection and action recognition; (ii) optimization difficulty with insufficient training data. In this work, we present a decoupled one-stage network dubbed DOAD, to mitigate above issues and improve the efficiency for spatio-temporal action detection. To achieve it, we decouple detection and action recognition into two branches. Specifically, one branch focuses on detection representation for actor detection, and the other one for action recognition. For the action branch, we design a transformer-based module (TransPC) to model pairwise relationships between people and context. Different from commonly used vector-based dot product in self-attention, it is built upon a novel matrix-based key and value for Hadamard attention to model person-context information. It not only exploits relationships between person pairs but also takes into account context and relative position information. The results on AVA and UCF101-24 datasets show that our method is competitive with two-stage state-of-the-art methods with significant efficiency improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI