DH-AUG: DH Forward Kinematics Model Driven Augmentation for 3D Human Pose Estimation

要約

データセットの多様性が欠如しているため、ポーズ推定器の一般化能力は不十分です。
この問題を解決するために、DH-AUGと呼ばれるDH順運動学モデルを介したポーズ増強ソリューションを提案します。
以前の作業はすべて単一フレームのポーズ拡張に基づいていることがわかります。これをビデオポーズ推定器に直接適用すると、以前は無視されていたいくつかの問題が発生します。（i）骨の回転における角度のあいまいさ（複数のソリューション）。
（ii）生成されたスケルトンビデオには動きの連続性がありません。
これらの問題を解決するために、DH順運動学モデルに基づくDHジェネレーターと呼ばれる特別なジェネレーターを提案します。
広範な実験は、DH-AUGがビデオポーズ推定器の一般化能力を大幅に向上させることができることを示しています。
さらに、単一フレームの3Dポーズ推定器に適用すると、私たちの方法は、以前の最良のポーズ増強方法よりも優れています。
ソースコードはhttps://github.com/hlz0606/DH-AUG-DH-Forward-Kinematics-Model-Driven-Augmentation-for-3D-Human-Pose-Estimationでリリースされています。

要約(オリジナル)

Due to the lack of diversity of datasets, the generalization ability of the pose estimator is poor. To solve this problem, we propose a pose augmentation solution via DH forward kinematics model, which we call DH-AUG. We observe that the previous work is all based on single-frame pose augmentation, if it is directly applied to video pose estimator, there will be several previously ignored problems: (i) angle ambiguity in bone rotation (multiple solutions); (ii) the generated skeleton video lacks movement continuity. To solve these problems, we propose a special generator based on DH forward kinematics model, which is called DH-generator. Extensive experiments demonstrate that DH-AUG can greatly increase the generalization ability of the video pose estimator. In addition, when applied to a single-frame 3D pose estimator, our method outperforms the previous best pose augmentation method. The source code has been released at https://github.com/hlz0606/DH-AUG-DH-Forward-Kinematics-Model-Driven-Augmentation-for-3D-Human-Pose-Estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google