3D Human Pose and Shape Estimation via HybrIK-Transformer

要約

HybrIK は、解析的な逆運動学とディープ ラーニングの組み合わせに依存して、2D 単眼画像からより正確な 3D ポーズ推定を生成します。
HybrIK には、(1) 事前トレーニング済みの畳み込みバックボーン、(2) 2D 畳み込み機能から 3D ポーズをリフトするためのデコンボリューション、(3) もっともらしいツイスト角度とスイング角度の学習済み分布を使用して深層学習予測を修正する解析的逆運動学パスの 3 つの主要コンポーネントがあります。
このホワイト ペーパーでは、2D から 3D へのリフティング モジュールの強化を提案し、デコンボリューションを Transformer に置き換えて、元の HybrIK メソッドと比較して精度と計算効率を向上させます。
一般的に使用される H36M、PW3D、COCO、および HP3D データセットで結果を示します。
私たちのコードは、https://github.com/boreshkinai/hybrik-transformer で公開されています。

要約(オリジナル)

HybrIK relies on a combination of analytical inverse kinematics and deep learning to produce more accurate 3D pose estimation from 2D monocular images. HybrIK has three major components: (1) pretrained convolution backbone, (2) deconvolution to lift 3D pose from 2D convolution features, (3) analytical inverse kinematics pass correcting deep learning prediction using learned distribution of plausible twist and swing angles. In this paper we propose an enhancement of the 2D to 3D lifting module, replacing deconvolution with Transformer, resulting in accuracy and computational efficiency improvement relative to the original HybrIK method. We demonstrate our results on commonly used H36M, PW3D, COCO and HP3D datasets. Our code is publicly available https://github.com/boreshkinai/hybrik-transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google