Muscles in Action

要約

人の動きのわずかな違いで、大きく異なる筋肉が関与する可能性があります。
人間の活動のほとんどの視覚的表現はビデオから学習されますが、人は自分の筋肉の固有受容を含むマルチモーダルな経験から学びます。
単眼ビデオからの人間の活動における筋肉の活性化をモデル化するための新しい視覚認識タスクとデータセットを提示します。
当社の Muscles in Action (MIA) データセットは、さまざまなエクササイズを行っている被験者の 2 時間の同期ビデオと表面筋電図 (sEMG) データで構成されています。
このデータセットを使用して、単眼ビデオから筋肉の活性化を予測する視覚的表現を学習します。
変圧器モデルを含むいくつかのモデルを提示し、新しい演習や主題に一般化する能力を測定します。
筋肉をコンピューター ビジョン システムに組み込むことで、スポーツ、フィットネス、AR/VR に応用できる、よりリッチな仮想人間のモデルが可能になります。

要約(オリジナル)

Small differences in a person’s motion can engage drastically different muscles. While most visual representations of human activity are trained from video, people learn from multimodal experiences, including from the proprioception of their own muscles. We present a new visual perception task and dataset to model muscle activation in human activities from monocular video. Our Muscles in Action (MIA) dataset consists of 2 hours of synchronized video and surface electromyography (sEMG) data of subjects performing various exercises. Using this dataset, we learn visual representations that are predictive of muscle activation from monocular video. We present several models, including a transformer model, and measure their ability to generalize to new exercises and subjects. Putting muscles into computer vision systems will enable richer models of virtual humans, with applications in sports, fitness, and AR/VR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google