Towards Single Camera Human 3D-Kinematics

要約

3D キネマティクスのマーカーレス推定は、高価なモーション キャプチャ ラボに紹介することなく、運動障害を臨床的に診断および監視できる大きな可能性を秘めています。
ただし、現在のアプローチは、ビデオから人の運動学を推定するために複数の分離されたステップを実行することによって制限されています。
現在の技術のほとんどは、最初に体の姿勢を検出し、次に筋骨格モデルをデータに適合させて正確な運動学的推定を行うという多段階アプローチで機能します。
ポーズ検出アルゴリズム、モデルのスケーリング、および複数のカメラの要件のトレーニング データのエラーにより、臨床環境でのこれらの技術の使用が制限されます。
私たちの目標は、迅速で簡単に適用でき、正確な 3D 運動学的推定 \xdeleted{臨床環境で} への道を開くことです。
この目的のために、ディープ ニューラル ネットワークを使用してビデオから直接 3D 人間の運動学的推定 D3KE を行うための新しいアプローチを提案します。
私たちの実験は、提案されたエンドツーエンドのトレーニングがロバストであり、2D および 3D マーカーレス モーション キャプチャ ベースの運動学的推定パイプラインよりも、関節角度の誤差に関して大きなマージン (5.44 ～ 3.54 度で 35\%) 優れていることを示しています。
D3KE がマルチステップ アプローチよりも優れており、ビデオ フレームレートの速度で実行できることを示します。
この技術は、将来のモバイル デバイスからの臨床分析の可能性を示しています。

要約(オリジナル)

Markerless estimation of 3D Kinematics has the great potential to clinically diagnose and monitor movement disorders without referrals to expensive motion capture labs; however, current approaches are limited by performing multiple de-coupled steps to estimate the kinematics of a person from videos. Most current techniques work in a multi-step approach by first detecting the pose of the body and then fitting a musculoskeletal model to the data for accurate kinematic estimation. Errors in training data of the pose detection algorithms, model scaling, as well the requirement of multiple cameras limit the use of these techniques in a clinical setting. Our goal is to pave the way toward fast, easily applicable and accurate 3D kinematic estimation \xdeleted{in a clinical setting}. To this end, we propose a novel approach for direct 3D human kinematic estimation D3KE from videos using deep neural networks. Our experiments demonstrate that the proposed end-to-end training is robust and outperforms 2D and 3D markerless motion capture based kinematic estimation pipelines in terms of joint angles error by a large margin (35\% from 5.44 to 3.54 degrees). We show that D3KE is superior to the multi-step approach and can run at video framerate speeds. This technology shows the potential for clinical analysis from mobile devices in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google