A Hybrid Graph Network for Complex Activity Detection in Video

要約

ビデオの解釈と理解は、多くの分野でコンピュータ ビジョンの困難な課題となります。
自動運転とスポーツ分析。
ビデオ クリップ内で行われるアクションを解釈する既存のアプローチは、通常、短期的なアクションを識別する時間的アクション ローカリゼーション (TAL) に基づいています。
Complex Activity Detection (CompAD) という新興分​​野では、ビデオ内で行われる複雑なアクティビティの内部構造をモデル化することでより深い理解が得られ、この分析が長期的なアクティビティに拡張されています。
我々は、ローカル（短期）の動的シーンをエンコードするグラフに適用される注意と、全体的な長期アクティビティをモデル化する時間グラフを組み合わせるハイブリッド グラフ ニューラル ネットワークを使用して CompAD 問題に取り組みます。
私たちのアプローチは次のとおりです。 i) まず、個々のオブジェクトを検出し、追跡することによって、ビデオ スニペットごとに、(ローカル) シーン内のアクティブな要素 (「エージェント」) の時空間「チューブ」を生成する新しい特徴抽出手法を提案します。
それらを抽出し、すべてのエージェント チューブとシーン全体から 3D 特徴を抽出します。
ii) 次に、各ノード (エージェント チューブまたはシーンを表す) が他のすべてのノードに接続されるローカル シーン グラフを構築します。
次に、このグラフに注目が適用されて、ローカルの動的シーンの全体的な表現が取得されます。
iii) 最後に、すべてのローカル シーン グラフ表現が時間グラフを介して相互接続され、複雑なアクティビティ クラスとその開始時間と終了時間を推定します。
提案されたフレームワークは、ActivityNet-1.3、Thumos-14、ROAD を含む 3 つのデータセットすべてにおいて、これまでのすべての最先端の手法を上回ります。

要約(オリジナル)

Interpretation and understanding of video presents a challenging computer vision task in numerous fields – e.g. autonomous driving and sports analytics. Existing approaches to interpreting the actions taking place within a video clip are based upon Temporal Action Localisation (TAL), which typically identifies short-term actions. The emerging field of Complex Activity Detection (CompAD) extends this analysis to long-term activities, with a deeper understanding obtained by modelling the internal structure of a complex activity taking place within the video. We address the CompAD problem using a hybrid graph neural network which combines attention applied to a graph encoding the local (short-term) dynamic scene with a temporal graph modelling the overall long-duration activity. Our approach is as follows: i) Firstly, we propose a novel feature extraction technique which, for each video snippet, generates spatiotemporal `tubes’ for the active elements (`agents’) in the (local) scene by detecting individual objects, tracking them and then extracting 3D features from all the agent tubes as well as the overall scene. ii) Next, we construct a local scene graph where each node (representing either an agent tube or the scene) is connected to all other nodes. Attention is then applied to this graph to obtain an overall representation of the local dynamic scene. iii) Finally, all local scene graph representations are interconnected via a temporal graph, to estimate the complex activity class together with its start and end time. The proposed framework outperforms all previous state-of-the-art methods on all three datasets including ActivityNet-1.3, Thumos-14, and ROAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google