Real-time Monocular Full-body Capture in World Space via Sequential Proxy-to-Motion Learning

要約

単眼モーション キャプチャへの学習ベースのアプローチは、最近、データ駆動型の方法で回帰することを学習することで有望な結果を示しています。
しかし、データ収集とネットワーク設計における課題のため、既存のソリューションではワールド空間で正確でありながらリアルタイムの全身キャプチャを達成することが依然として困難です。
この研究では、ワールド空間における 2D スケルトン シーケンスと 3D 回転モーションのプロキシ データセットとともに、逐次的なプロキシからモーションへの学習スキームを提供します。
このようなプロキシ データにより、一般化の問題を軽減しながら、正確な全身監視を備えた学習ベースのネットワークを構築することができます。
より正確で物理的に妥当な予測を行うために、足と地面の接触や代理観測との動きのずれを認識できるように、接触を認識するニューラル モーション降下モジュールがネットワーク内で提案されています。
さらに、全身モデルとの手首のポーズの復元の互換性を高めるために、ボディと手のコンテキスト情報をネットワークで共有します。
提案された学習ベースのソリューションを使用して、世界空間で妥当な足と地面の接触を伴う初のリアルタイム単眼全身キャプチャ システムを実証します。
その他のビデオ結果は、プロジェクト ページ https://liuyebin.com/proxycap でご覧いただけます。

要約(オリジナル)

Learning-based approaches to monocular motion capture have recently shown promising results by learning to regress in a data-driven manner. However, due to the challenges in data collection and network designs, it remains challenging for existing solutions to achieve real-time full-body capture while being accurate in world space. In this work, we contribute a sequential proxy-to-motion learning scheme together with a proxy dataset of 2D skeleton sequences and 3D rotational motions in world space. Such proxy data enables us to build a learning-based network with accurate full-body supervision while also mitigating the generalization issues. For more accurate and physically plausible predictions, a contact-aware neural motion descent module is proposed in our network so that it can be aware of foot-ground contact and motion misalignment with the proxy observations. Additionally, we share the body-hand context information in our network for more compatible wrist poses recovery with the full-body model. With the proposed learning-based solution, we demonstrate the first real-time monocular full-body capture system with plausible foot-ground contact in world space. More video results can be found at our project page: https://liuyebin.com/proxycap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google