Video-Based Hand Pose Estimation for Remote Assessment of Bradykinesia in Parkinson’s Disease

要約

パーキンソン病 (PD) における運動緩慢のビデオベースの評価にポーズ推定アルゴリズムを使用し、遠隔での疾患の評価とモニタリングを容易にすることへの関心が高まっています。
ただし、遠隔医療の予約中にビデオ ストリーミング サービスからのビデオに含まれる姿勢推定アルゴリズムの精度については研究されていません。
この研究では、7 つの既製の手姿勢推定モデルを使用して、健康対照者 (HC) および PD 以下の参加者から記録されたフィンガータッピング (FT) テストのビデオにおける親指と人差し指の動きを推定しました。
2 つの異なる条件: ストリーミング (ライブ Zoom ミーティング中に録画されたビデオ) とオンデバイス (高品質カメラでローカルに録画されたビデオ)。
モデルの精度と信頼性は、モデルの出力と手動の結果を比較することによって推定されました。
7 つのモデルのうち 3 つは、オンデバイス録画では良好な精度を示しましたが、ストリーミング録画では精度が大幅に低下しました。
ストリーミング記録では、移動速度とモデルの精度の間に負の相関があることが観察されました。
さらに、FT テストを行った PD 患者のビデオ録画から抽出された運動緩慢に関連する 10 個の動作特徴の信頼性を評価しました。
ほとんどの機能はオンデバイス録画に対しては優れた信頼性を示しましたが、ストリーミング録画に対してはほとんどの信頼性が低いか中程度の信頼性を示しました。
私たちの発見は、遠隔医療訪問中に取得されたビデオ記録に適用された場合の姿勢推定アルゴリズムの限界を強調し、オンデバイス記録がPDにおける運動緩慢の自動ビデオ評価に使用できることを実証しています。

要約(オリジナル)

There is a growing interest in using pose estimation algorithms for video-based assessment of Bradykinesia in Parkinson’s Disease (PD) to facilitate remote disease assessment and monitoring. However, the accuracy of pose estimation algorithms in videos from video streaming services during Telehealth appointments has not been studied. In this study, we used seven off-the-shelf hand pose estimation models to estimate the movement of the thumb and index fingers in videos of the finger-tapping (FT) test recorded from Healthy Controls (HC) and participants with PD and under two different conditions: streaming (videos recorded during a live Zoom meeting) and on-device (videos recorded locally with high-quality cameras). The accuracy and reliability of the models were estimated by comparing the models’ output with manual results. Three of the seven models demonstrated good accuracy for on-device recordings, and the accuracy decreased significantly for streaming recordings. We observed a negative correlation between movement speed and the model’s accuracy for the streaming recordings. Additionally, we evaluated the reliability of ten movement features related to bradykinesia extracted from video recordings of PD patients performing the FT test. While most of the features demonstrated excellent reliability for on-device recordings, most of the features demonstrated poor to moderate reliability for streaming recordings. Our findings highlight the limitations of pose estimation algorithms when applied to video recordings obtained during Telehealth visits, and demonstrate that on-device recordings can be used for automatic video-assessment of bradykinesia in PD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google