Learning by Aligning 2D Skeleton Sequences in Time

要約

この論文では、いくつかのきめ細かい人間の活動を理解するアプリケーションに役立つ、自己監視型時間ビデオ位置合わせフレームワークを紹介します。
3D スケルトン座標のシーケンスが入力として直接取得される CASA の最先端の方法とは対照的に、私たちの重要なアイデアは、2D スケルトン ヒートマップのシーケンスを入力として使用することです。
時間領域のみでセルフ アテンションを実行する CASA とは異なり、2D スケルトン ヒートマップをビデオ トランスフォーマーに供給し、空間領域と時間領域の両方でセルフ アテンションを実行して、効果的な時空間およびコンテキストの特徴を抽出します。
さらに、自己教師あり学習のための 2D スケルトンに基づくシンプルなヒートマップ拡張手法を紹介します。
3D 情報が不足しているにもかかわらず、私たちのアプローチは、CASA よりも精度が高いだけでなく、キーポイントの欠落やノイズに対する堅牢性も向上しています。
さらに、3 つの公開データセット、つまり Penn Action、IKEA ASM、および H2O に関する広範な評価により、私たちのアプローチがさまざまなきめ細かい人間活動の理解タスクにおいて以前の方法よりも優れていることが実証されました。
最後に、2D スケルトン ヒートマップと RGB ビデオを融合することで、すべてのメトリクスとデータセットに関して最先端の結果が得られます。
私たちの知る限り、私たちの研究は 2D スケルトン ヒートマップ入力を利用した最初のものであり、時間的なビデオの位置合わせのためのマルチモダリティ融合を探求した最初のものです。

要約(オリジナル)

This paper presents a self-supervised temporal video alignment framework which is useful for several fine-grained human activity understanding applications. In contrast with the state-of-the-art method of CASA, where sequences of 3D skeleton coordinates are taken directly as input, our key idea is to use sequences of 2D skeleton heatmaps as input. Unlike CASA which performs self-attention in the temporal domain only, we feed 2D skeleton heatmaps to a video transformer which performs self-attention both in the spatial and temporal domains for extracting effective spatiotemporal and contextual features. In addition, we introduce simple heatmap augmentation techniques based on 2D skeletons for self-supervised learning. Despite the lack of 3D information, our approach achieves not only higher accuracy but also better robustness against missing and noisy keypoints than CASA. Furthermore, extensive evaluations on three public datasets, i.e., Penn Action, IKEA ASM, and H2O, demonstrate that our approach outperforms previous methods in different fine-grained human activity understanding tasks. Finally, fusing 2D skeleton heatmaps with RGB videos yields the state-of-the-art on all metrics and datasets. To our best knowledge, our work is the first to utilize 2D skeleton heatmap inputs and the first to explore multi-modality fusion for temporal video alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google