Recognizing Hand Use and Hand Role at Home After Stroke from Egocentric Video

要約

はじめに：手の機能は、脳卒中後の独立性の中心的な決定要因です。
新しい介入の影響を評価するには、家庭環境での手の使用を測定する必要があり、新しいウェアラブル技術が必要です。
自己中心的なビデオは、コンテキスト内の手とオブジェクトの相互作用をキャプチャできるだけでなく、（安定化または操作のために）両側のタスク中に影響を受けた手がどのように使用されるかを示します。
この情報を抽出するには、自動化されたメソッドが必要です。
目的：人工知能ベースのコンピュータービジョンを使用して、脳卒中後に自宅で記録されたエゴセントリックビデオから手の使用と手の役割を分類すること。
方法：21人の脳卒中生存者が研究に参加した。
ランダムフォレスト分類器、SlowFastニューラルネットワーク、およびHand Object Detectorニューラルネットワークを適用して、自宅での手の使用と手の役割を特定しました。
Leave-One-Subject-Out-Cross-Validation（LOSOCV）を使用して、3つのモデルのパフォーマンスを評価しました。
モデルのグループ間の差異は、Mathews相関係数（MCC）に基づいて計算されました。
結果：手使用検出の場合、HandObjectDetectorは他のモデルよりも大幅に高いパフォーマンスを示しました。
LOSOCVでこのモデルを使用したマクロ平均MCCは、影響の大きい手では0.50±0.23、影響の少ない手では0.58±0.18でした。
手の役割の分類では、LOSOCVのマクロ平均MCCは、すべてのモデルでゼロに近かった。
結論：自宅での脳卒中生存者の手の使用をキャプチャするために自己中心的なビデオを使用することは実行可能です。
指の動きを追跡するためのポーズ推定は、将来、手の役割を分類するのに役立つ可能性があります。

要約(オリジナル)

Introduction: Hand function is a central determinant of independence after stroke. Measuring hand use in the home environment is necessary to evaluate the impact of new interventions, and calls for novel wearable technologies. Egocentric video can capture hand-object interactions in context, as well as show how more-affected hands are used during bilateral tasks (for stabilization or manipulation). Automated methods are required to extract this information. Objective: To use artificial intelligence-based computer vision to classify hand use and hand role from egocentric videos recorded at home after stroke. Methods: Twenty-one stroke survivors participated in the study. A random forest classifier, a SlowFast neural network, and the Hand Object Detector neural network were applied to identify hand use and hand role at home. Leave-One-Subject-Out-Cross-Validation (LOSOCV) was used to evaluate the performance of the three models. Between-group differences of the models were calculated based on the Mathews correlation coefficient (MCC). Results: For hand use detection, the Hand Object Detector had significantly higher performance than the other models. The macro average MCCs using this model in the LOSOCV were 0.50 +- 0.23 for the more-affected hands and 0.58 +- 0.18 for the less-affected hands. Hand role classification had macro average MCCs in the LOSOCV that were close to zero for all models. Conclusion: Using egocentric video to capture the hand use of stroke survivors at home is feasible. Pose estimation to track finger movements may be beneficial to classifying hand roles in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google