Predict joint angle of body parts based on sequence pattern recognition

要約

職場での臓器の配置や移動の方法によって、痛みや身体的損傷が生じる可能性があります。
したがって、人間工学者は、職場の視覚観察に基づいて人間工学的リスク評価を行ったり、職場で撮影した写真やビデオを確認したりしています。
写真に写っている作業員の状態が完璧ではない場合があります。
作業者の体の一部はカメラの視野に入っていない可能性があり、物体や自己遮蔽によって隠されている可能性があり、これが 2D 人間の姿勢認識における主な問題です。
身体の各部分が画像に表示されていない場合、その位置を予測することは困難であり、幾何学的な数学的手法はこの目的には完全に適しているわけではありません。
そこで、痛みを伴う姿勢に特化した 3D 人体モデルの人工画像と、さまざまな視点からの本物の人間の写真を含むデータセットを作成しました。
私たちがキャプチャした各画像は、各 3D モデルまたは人体モデルの事前定義された関節角度に基づいていました。
体の一部が見えていない画像など、さまざまな画像を作成しました。
それにもかかわらず、関節角度は事前に推定されているため、入力画像を事前定義された身体部位間の関節接続のシーケンスに変換し、畳み込みニューラル ネットワークで目的の関節角度を抽出することで、このケースを研究できます。
最終的に、テスト データセットでは 2 乗平均平方根誤差 (RMSE) 12.89 と平均絶対誤差 (MAE) 4.7 が得られました。

要約(オリジナル)

The way organs are positioned and moved in the workplace can cause pain and physical harm. Therefore, ergonomists use ergonomic risk assessments based on visual observation of the workplace, or review pictures and videos taken in the workplace. Sometimes the workers in the photos are not in perfect condition. Some parts of the workers’ bodies may not be in the camera’s field of view, could be obscured by objects, or by self-occlusion, this is the main problem in 2D human posture recognition. It is difficult to predict the position of body parts when they are not visible in the image, and geometric mathematical methods are not entirely suitable for this purpose. Therefore, we created a dataset with artificial images of a 3D human model, specifically for painful postures, and real human photos from different viewpoints. Each image we captured was based on a predefined joint angle for each 3D model or human model. We created various images, including images where some body parts are not visible. Nevertheless, the joint angle is estimated beforehand, so we could study the case by converting the input images into the sequence of joint connections between predefined body parts and extracting the desired joint angle with a convolutional neural network. In the end, we obtained root mean square error (RMSE) of 12.89 and mean absolute error (MAE) of 4.7 on the test dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google