ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty

要約

マーカーレスハンドトラッキング技術は、その可能性にもかかわらず、実際には炎症性筋骨格疾患の診断や活動のモニタリングにはまだ適用されていません。
その理由の 1 つは、ほとんどの方法の焦点が大まかなポーズの再構築にあるのに対し、臨床現場では正確で解釈可能で信頼性の高い結果が求められることです。
したがって、我々は、最初の RGB-D 形状再構成および手のポーズ追跡システムである ShaRPy を提案します。これは、たとえば指が隠れている場合やその推定値が入力の観察と一致しない場合など、計算されたポーズの不確実性推定値を提供し、臨床検査をガイドします。
意思決定。
ShaRPy はポーズに加えて、パーソナライズされた手の形状を近似し、デジタル ツインのより現実的かつ直感的な理解を促進します。
私たちの方法では、消費者向けレベルの RGB-D カメラ 1 台を使用した軽量のセットアップのみが必要ですが、計量的に正確な空間内でわずかな関節角度の偏差だけで類似のポーズを区別できます。
これは、データ駆動型の密な対応予測子と従来のエネルギー最小化を組み合わせることによって実現されます。
インタラクティブな視覚化と生物医学的シミュレーションの間のギャップを埋めるために、生物医学的制約を組み込んでポーズと手の形状の両方を最適化するパラメトリック手のモデルを活用します。
キーポイント検出ベンチマークで ShaRPy を評価し、筋骨格疾患の活動モニタリングのための手機能評価の定性的結果を示します。

要約(オリジナル)

Despite their potential, markerless hand tracking technologies are not yet applied in practice to the diagnosis or monitoring of the activity in inflammatory musculoskeletal diseases. One reason is that the focus of most methods lies in the reconstruction of coarse, plausible poses, whereas in the clinical context, accurate, interpretable, and reliable results are required. Therefore, we propose ShaRPy, the first RGB-D Shape Reconstruction and hand Pose tracking system, which provides uncertainty estimates of the computed pose, e.g., when a finger is hidden or its estimate is inconsistent with the observations in the input, to guide clinical decision-making. Besides pose, ShaRPy approximates a personalized hand shape, promoting a more realistic and intuitive understanding of its digital twin. Our method requires only a light-weight setup with a single consumer-level RGB-D camera yet it is able to distinguish similar poses with only small joint angle deviations in a metrically accurate space. This is achieved by combining a data-driven dense correspondence predictor with traditional energy minimization. To bridge the gap between interactive visualization and biomedical simulation we leverage a parametric hand model in which we incorporate biomedical constraints and optimize for both, its pose and hand shape. We evaluate ShaRPy on a keypoint detection benchmark and show qualitative results of hand function assessments for activity monitoring of musculoskeletal diseases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google