Occlusion Robust 3D Human Pose Estimation with StridedPoseGraphFormer and Data Augmentation

要約

タイトル：StridedPoseGraphFormerとデータ拡張を用いた覆い隠しに強い3D人間姿勢推定
要約：
– 3D人間姿勢推定では、覆い隠しは常に問題である。
– 3D人間姿勢推定に関する多数の研究があるが、覆い隠しの問題に明示的に取り組んだ研究は限られている。
– この問題を解決するため、StridedPoseGraphFormerと呼ばれるグラフ畳み込みとトランスフォーマーをベースとした空間的時間的な3D人間姿勢推定モデルを構築し、覆い隠しのデータ拡張を用いてトレーニングすることを提案する。
– 既存の覆い隠しに敏感な手法が限られた覆い隠しに対してしかテストされないのに対して、多様な覆い隠し度合いについて、提案手法を広範に評価する。
– 提案手法が、最新技術と比較して有利に成果を出すということが示された。
– 実験結果から、覆い隠しを考慮しない場合、最新技術による3D人間姿勢推定の性能が覆い隠しを遭遇すると著しく低下することも明らかになった。

要約(オリジナル)

Occlusion is an omnipresent challenge in 3D human pose estimation (HPE). In spite of the large amount of research dedicated to 3D HPE, only a limited number of studies address the problem of occlusion explicitly. To fill this gap, we propose to combine exploitation of spatio-temporal features with synthetic occlusion augmentation during training to deal with occlusion. To this end, we build a spatio-temporal 3D HPE model, StridedPoseGraphFormer based on graph convolution and transformers, and train it using occlusion augmentation. Unlike the existing occlusion-aware methods, that are only tested for limited occlusion, we extensively evaluate our method for varying degrees of occlusion. We show that our proposed method compares favorably with the state-of-the-art (SoA). Our experimental results also reveal that in the absence of any occlusion handling mechanism, the performance of SoA 3D HPE methods degrades significantly when they encounter occlusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI