Bootstrapping Human Optical Flow and Pose

要約

人間のオプティカル フローとポーズを強化するためのブートストラップ フレームワークを提案します。
シーンに人間が含まれるビデオの場合、2 つのタスクを同時に考慮することで、オプティカル フローと人間のポーズ推定品質の両方を改善できることを示します。
オプティカル フローの推定値を人間のポーズの推定値に合わせて微調整することで強化し、その逆も同様です。
より詳細には、ポーズ ネットワークとオプティカル フロー ネットワークを最適化し、推論時に互いに一致するようにします。
これにより、ワイルド データセットの人間の 3.6M ポーズと 3D ポーズ、および Sintel データセットの人間に関連するサブセットで、姿勢推定の精度と光学的精度の両方の点で最先端の結果が得られることを示します。
人間の関節位置での流量精度。
https://github.com/ubc-vision/bootstrapping-human-optical-flow-and-pose で入手可能なコード

要約(オリジナル)

We propose a bootstrapping framework to enhance human optical flow and pose. We show that, for videos involving humans in scenes, we can improve both the optical flow and the pose estimation quality of humans by considering the two tasks at the same time. We enhance optical flow estimates by fine-tuning them to fit the human pose estimates and vice versa. In more detail, we optimize the pose and optical flow networks to, at inference time, agree with each other. We show that this results in state-of-the-art results on the Human 3.6M and 3D Poses in the Wild datasets, as well as a human-related subset of the Sintel dataset, both in terms of pose estimation accuracy and the optical flow accuracy at human joint locations. Code available at https://github.com/ubc-vision/bootstrapping-human-optical-flow-and-pose

arxiv情報

提供元, 利用サービス

arxiv.jp, Google