SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation

要約

表情豊かな人間の姿勢と形状の推定 (EHPS) は、体、手、顔のモーション キャプチャを多数のアプリケーションと統合します。
進歩は進んでいるにもかかわらず、現在の最先端の手法は依然として限定されたトレーニング データセットに大きく依存しています。
この作業では、最大 ViT-Huge をバックボーンとして使用し、さまざまなデータ ソースからの最大 450 万のインスタンスを使用してトレーニングする、最初のジェネラリスト基盤モデル (SMPLer-X と呼ばれる) に向けて EHPS をスケールアップすることを調査します。
ビッグ データと大規模なモデルを使用する SMPLer-X は、さまざまなテスト ベンチマークにわたって強力なパフォーマンスを示し、目に見えない環境への優れた移行性も示します。
1) データのスケーリングについては、単一のデータセットでトレーニングされたモデルでは処理できない幅広いシナリオを網羅する、32 の EHPS データセットに対して体系的な調査を実行します。
さらに重要なことは、広範なベンチマーク プロセスから得られた洞察を活用して、トレーニング スキームを最適化し、EHPS 機能の大幅な飛躍につながるデータセットを選択することです。
2) モデルのスケーリングでは、ビジョン トランスフォーマーを利用して、EHPS のモデル サイズのスケーリング則を研究します。
さらに、当社の微調整戦略により SMPLer-X を専門モデルに変え、さらなるパフォーマンス向上を実現できます。
特に、当社の基盤モデル SMPLer-X は、AGORA (107.2 mm NMVE)、UBody (57.4 mm PVE)、EgoBody (63.6 mm PVE)、EHF (62.3 mm PVE) などの 7 つのベンチマークで常に最先端の結果を提供しています。
微調整なし）。

要約(オリジナル)

Expressive human pose and shape estimation (EHPS) unifies body, hands, and face motion capture with numerous applications. Despite encouraging progress, current state-of-the-art methods still depend largely on confined training datasets. In this work, we investigate scaling up EHPS towards the first generalist foundation model (dubbed SMPLer-X), with up to ViT-Huge as the backbone and training with up to 4.5M instances from diverse data sources. With big data and the large model, SMPLer-X exhibits strong performance across diverse test benchmarks and excellent transferability to even unseen environments. 1) For the data scaling, we perform a systematic investigation on 32 EHPS datasets, encompassing a wide range of scenarios that a model trained on any single dataset cannot handle. More importantly, capitalizing on insights obtained from the extensive benchmarking process, we optimize our training scheme and select datasets that lead to a significant leap in EHPS capabilities. 2) For the model scaling, we take advantage of vision transformers to study the scaling law of model sizes in EHPS. Moreover, our finetuning strategy turn SMPLer-X into specialist models, allowing them to achieve further performance boosts. Notably, our foundation model SMPLer-X consistently delivers state-of-the-art results on seven benchmarks such as AGORA (107.2 mm NMVE), UBody (57.4 mm PVE), EgoBody (63.6 mm PVE), and EHF (62.3 mm PVE without finetuning).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google