ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty

要約

それらの可能性にもかかわらず、マーカーレスハンドトラッキング技術は、炎症性筋骨格疾患の活動の診断またはモニタリングに実際にはまだ適用されていません。
理由の 1 つは、ほとんどの方法の焦点が、ジェスチャ認識または AR/VR アプリケーションのための粗くてもっともらしいポーズの再構成にあるのに対し、臨床コンテキストでは、正確で解釈可能で信頼できる結果が必要とされることです。
したがって、最初の RGB-D 形状再構成およびハンド ポーズ追跡システムである ShaRPy を提案します。
私たちの方法は、単一の消費者レベルの RGB-D カメラを使用した軽量のセットアップのみを必要としますが、関節角度のわずかなずれだけで同様のポーズを区別できます。
これは、データ駆動型の密な対応予測子を従来のエネルギー最小化と組み合わせて、ポーズと手の形状パラメーターの両方を最適化することによって実現されます。
キーポイント検出ベンチマークで ShaRPy を評価し、患者の記録に関する定性的な結果を示します。

要約(オリジナル)

Despite their potential, markerless hand tracking technologies are not yet applied in practice to the diagnosis or monitoring of the activity in inflammatory musculoskeletal diseases. One reason is that the focus of most methods lies in the reconstruction of coarse, plausible poses for gesture recognition or AR/VR applications, whereas in the clinical context, accurate, interpretable, and reliable results are required. Therefore, we propose ShaRPy, the first RGB-D Shape Reconstruction and hand Pose tracking system, which provides uncertainty estimates of the computed pose to guide clinical decision-making. Our method requires only a light-weight setup with a single consumer-level RGB-D camera yet it is able to distinguish similar poses with only small joint angle deviations. This is achieved by combining a data-driven dense correspondence predictor with traditional energy minimization, optimizing for both, pose and hand shape parameters. We evaluate ShaRPy on a keypoint detection benchmark and show qualitative results on recordings of a patient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google