Spatio-Temporal Action Detection Under Large Motion

要約

時空間アクション チューブ検出の現在の方法は、多くの場合、特定のキーフレームでバウンディング ボックスの提案を 3D 時間立方体に拡張し、近くのフレームからフィーチャをプールします。
ただし、カメラの動きが大きい、アクターの形状が大きく変形する、アクターの動きが速いなどの理由で、アクターの位置または形状がフレーム全体で大きな 2D モーションと変動性を示す場合、このようなプーリングでは意味のある時空間特徴を蓄積できません。
この作業では、大規模なアクションの下でのアクション検出における立方体対応機能集約のパフォーマンスを研究することを目的としています。
さらに、俳優を追跡し、それぞれのトラックに沿って一時的な特徴集約を実行することにより、大きな動きの下で俳優の特徴表現を強化することを提案します。
アクション チューブ/トラックのボックス間の交差オーバー ユニオン (IoU) を使用して、さまざまな固定時間スケールでアクターのモーションを定義します。
動きが大きいアクションは、時間の経過とともに IoU が低くなり、遅いアクションは高い IoU を維持します。
トラック対応の特徴集約は、特に立方体対応のベースラインと比較して、大きな動きの下でのアクションに対して、アクション検出のパフォーマンスを一貫して大幅に改善することがわかりました。
その結果、大規模な MultiSports データセットに関する最新技術も報告しています。
コードは https://github.com/gurkirt/ActionTrackDetectron で入手できます。

要約(オリジナル)

Current methods for spatiotemporal action tube detection often extend a bounding box proposal at a given keyframe into a 3D temporal cuboid and pool features from nearby frames. However, such pooling fails to accumulate meaningful spatiotemporal features if the position or shape of the actor shows large 2D motion and variability through the frames, due to large camera motion, large actor shape deformation, fast actor action and so on. In this work, we aim to study the performance of cuboid-aware feature aggregation in action detection under large action. Further, we propose to enhance actor feature representation under large motion by tracking actors and performing temporal feature aggregation along the respective tracks. We define the actor motion with intersection-over-union (IoU) between the boxes of action tubes/tracks at various fixed time scales. The action having a large motion would result in lower IoU over time, and slower actions would maintain higher IoU. We find that track-aware feature aggregation consistently achieves a large improvement in action detection performance, especially for actions under large motion compared to the cuboid-aware baseline. As a result, we also report state-of-the-art on the large-scale MultiSports dataset. The Code is available at https://github.com/gurkirt/ActionTrackDetectron.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google