Fusing uncalibrated IMUs and handheld smartphone video to reconstruct knee kinematics

要約

ビデオとウェアラブル センサー データは、人間の動きに関する補完的な情報を提供します。
ビデオは世界中の身体全体を総合的に理解することができ、ウェアラブル センサーは特定の身体部分の高解像度測定を提供します。
これらのモダリティを融合し、生体力学的に正確な運動学を取得する堅牢な方法は、臨床評価とモニタリングに多大な有用性をもたらすでしょう。
複数のビデオセンサー融合方法が存在しますが、ほとんどは、時間がかかり、多くの場合脆弱なセンサー本体のキャリブレーションプロセスがすでに実行されていることを前提としています。
この研究では、ハンドヘルド スマートフォンのビデオと未調整のウェアラブル センサー データを最大の時間解像度で結合する方法を紹介します。
私たちの単眼ビデオのみの生体力学的再構成はすでに良好に機能しており、マーカーなしのモーション キャプチャと比較して、歩行中の膝の誤差は数度しかありません。
ビデオとウェアラブルセンサーデータの融合から再構築することで、この誤差はさらに減少します。
私たちは、歩行障害のない人、下肢義足ユーザー、脳卒中歴のある人を組み合わせてこれを検証しました。
また、センサー データにより、視覚的遮蔽の期間全体を追跡できることも示します。

要約(オリジナル)

Video and wearable sensor data provide complementary information about human movement. Video provides a holistic understanding of the entire body in the world while wearable sensors provide high-resolution measurements of specific body segments. A robust method to fuse these modalities and obtain biomechanically accurate kinematics would have substantial utility for clinical assessment and monitoring. While multiple video-sensor fusion methods exist, most assume that a time-intensive, and often brittle, sensor-body calibration process has already been performed. In this work, we present a method to combine handheld smartphone video and uncalibrated wearable sensor data at their full temporal resolution. Our monocular, video-only, biomechanical reconstruction already performs well, with only several degrees of error at the knee during walking compared to markerless motion capture. Reconstructing from a fusion of video and wearable sensor data further reduces this error. We validate this in a mixture of people with no gait impairments, lower limb prosthesis users, and individuals with a history of stroke. We also show that sensor data allows tracking through periods of visual occlusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google