Hand tracking for clinical applications: validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks

要約

手や指の動きを正確に 3D 追跡することは、コンピュータ ビジョンにおいて大きな課題となります。
潜在的なアプリケーションは、人間とコンピューターのインタラクション、仮想現実、産業、医療など、複数のドメインにまたがります。
ジェスチャー認識は驚くべき精度を達成しましたが、特に手の機能障害やリハビリテーショントレーニングの結果の評価で正確な測定が必要な臨床応用では、微細な動きの定量化が依然としてハードルとなっています。
この問題に対処するために、深層学習に基づくいくつかの斬新で軽量なフレームワークが登場しました。
ただし、指の動きを正確かつ確実に測定する性能には、十分に確立されたゴールドスタンダードシステムに対する検証が必要です。
このペーパーの目的は、Google MediaPipe Hand (GMH) によって実装されたハンドトラッキング フレームワークと、RGB 深度カメラの深度推定を利用して 3D 動きのより正確な追跡を実現する革新的な拡張バージョンである GMH-D を検証することです。
手の機能障害を評価するために臨床医によって一般的に実施される 3 つの動的運動、すなわち手の開閉、単指タッピング、および複数指タッピングを考慮します。
結果は、ゴールドスタンダードと両方のフレームワークの時間的およびスペクトル的一貫性が高いことを示しています。
ただし、強化された GMH-D フレームワークは、遅い動きと速い動きの両方において、ベースラインの GMH と比較して空間測定において優れた精度を示します。
全体として、私たちの研究はハンドトラッキング技術の進歩、深層学習ベースのハンドトラッキングの有効性を証明するためのグッドプラクティスとしての検証手順の確立に貢献し、信頼できるフレームワークとしてのGMH-Dの有効性を証明しています。
臨床応用における 3D 手の動きの評価。

要約(オリジナル)

Accurate 3D tracking of hand and fingers movements poses significant challenges in computer vision. The potential applications span across multiple domains, including human-computer interaction, virtual reality, industry, and medicine. While gesture recognition has achieved remarkable accuracy, quantifying fine movements remains a hurdle, particularly in clinical applications where the assessment of hand dysfunctions and rehabilitation training outcomes necessitate precise measurements. Several novel and lightweight frameworks based on Deep Learning have emerged to address this issue; however, their performance in accurately and reliably measuring fingers movements requires validation against well-established gold standard systems. In this paper, the aim is to validate the handtracking framework implemented by Google MediaPipe Hand (GMH) and an innovative enhanced version, GMH-D, that exploits the depth estimation of an RGB-Depth camera to achieve more accurate tracking of 3D movements. Three dynamic exercises commonly administered by clinicians to assess hand dysfunctions, namely Hand Opening-Closing, Single Finger Tapping and Multiple Finger Tapping are considered. Results demonstrate high temporal and spectral consistency of both frameworks with the gold standard. However, the enhanced GMH-D framework exhibits superior accuracy in spatial measurements compared to the baseline GMH, for both slow and fast movements. Overall, our study contributes to the advancement of hand tracking technology, the establishment of a validation procedure as a good-practice to prove efficacy of deep-learning-based hand-tracking, and proves the effectiveness of GMH-D as a reliable framework for assessing 3D hand movements in clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google