SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation

要約

表情豊かな人間の姿勢と形状の推定 (EHPS) は、体、手、顔のモーション キャプチャを多数のアプリケーションと統合します。
進歩は期待できますが、現在の最先端の手法は、限定されたデータセットで革新的な建築設計をトレーニングすることに重点を置いています。
この研究では、ジェネラリスト基盤モデルのファミリーに向けて EHPS をスケールアップした場合の影響を調査します。
1) データ スケーリングについては、単一のデータセットでトレーニングされたモデルでは処理できない幅広いシナリオを網羅する、40 の EHPS データセットに対して体系的な調査を実行します。
さらに重要なことは、広範なベンチマーク プロセスから得られた洞察を活用して、トレーニング スキームを最適化し、EHPS 機能の大幅な飛躍につながるデータセットを選択することです。
最終的には、さまざまなデータ ソースからの 1,000 万のトレーニング インスタンスで利益が逓減します。
2) モデルのスケーリングでは、ビジョン トランスフォーマー (バックボーンとして ViT-Huge まで) を利用して、EHPS でのモデル サイズのスケーリング則を研究します。
アルゴリズム設計の影響を排除するために、私たちは 2 つのミニマリスト アーキテクチャに基づいて実験を行いました。SMPLer-X は手と顔の位置特定のための中間ステップで構成され、SMPLest-X はネットワークを必要最小限のものに削減したさらに単純なバージョンです。
そして、関節のある手の捕捉における大幅な進歩を強調しています。
ビッグ データと大規模なモデルを使用することで、基礎モデルはさまざまなテスト ベンチマークにわたって強力なパフォーマンスを示し、目に見えない環境にも優れた移行性を示します。
さらに、当社の微調整戦略はジェネラリストをスペシャリスト モデルに変え、さらなるパフォーマンス向上を実現します。
特に、当社の基礎モデルは、AGORA、UBody、EgoBody、および包括的な手を評価するために当社が提案した SynHand データセットなどの 7 つのベンチマークで常に最先端の結果を提供します。
(コードは https://github.com/wqyin/SMPLest-X で入手できます)。

要約(オリジナル)

Expressive human pose and shape estimation (EHPS) unifies body, hands, and face motion capture with numerous applications. Despite encouraging progress, current state-of-the-art methods focus on training innovative architectural designs on confined datasets. In this work, we investigate the impact of scaling up EHPS towards a family of generalist foundation models. 1) For data scaling, we perform a systematic investigation on 40 EHPS datasets, encompassing a wide range of scenarios that a model trained on any single dataset cannot handle. More importantly, capitalizing on insights obtained from the extensive benchmarking process, we optimize our training scheme and select datasets that lead to a significant leap in EHPS capabilities. Ultimately, we achieve diminishing returns at 10M training instances from diverse data sources. 2) For model scaling, we take advantage of vision transformers (up to ViT-Huge as the backbone) to study the scaling law of model sizes in EHPS. To exclude the influence of algorithmic design, we base our experiments on two minimalist architectures: SMPLer-X, which consists of an intermediate step for hand and face localization, and SMPLest-X, an even simpler version that reduces the network to its bare essentials and highlights significant advances in the capture of articulated hands. With big data and the large model, the foundation models exhibit strong performance across diverse test benchmarks and excellent transferability to even unseen environments. Moreover, our finetuning strategy turns the generalist into specialist models, allowing them to achieve further performance boosts. Notably, our foundation models consistently deliver state-of-the-art results on seven benchmarks such as AGORA, UBody, EgoBody, and our proposed SynHand dataset for comprehensive hand evaluation. (Code is available at: https://github.com/wqyin/SMPLest-X).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google