D-STGCNT: A Dense Spatio-Temporal Graph Conv-GRU Network based on transformer for assessment of patient physical rehabilitation

要約

この論文は、臨床医の監督なしで運動を行う患者の物理的リハビリテーション演習を自動的に評価するという課題に取り組んでいます。
目的は、正しいパフォーマンスを確保し、望ましい結果を達成するために品質スコアを提供することです。
この目標を達成するために、新しいグラフベースのモデルであるTransformerを使用した密な時空グラフConv-Gruネットワークが導入されています。
このモデルは、STGCNと変圧器アーキテクチャの修正バージョンを組み合わせて、時空間データを効率的に処理するためです。
重要なアイデアは、スケルトンデータをその非線形構造をグラフとして尊重し、各リハビリテーション演習で主要な役割を果たすジョイントを検出することです。
密な接続とGRUメカニズムを使用して、大規模な3Dスケルトン入力を迅速に処理し、時間的ダイナミクスを効果的にモデル化します。
トランスエンコーダーの注意メカニズムは、入力シーケンスの関連部分に焦点を当てており、リハビリテーションの演習を評価するのに役立ちます。
キモアとUI-PRMDデータセットに関する提案されたアプローチの評価は、その可能性を強調し、精度と計算時間の観点から最先端の方法を上回りました。
これにより、リハビリテーション演習のより速く、より正確な学習と評価が得られました。
さらに、私たちのモデルは、定性的イラストを通じて貴重なフィードバックを提供し、特定の演習における関節の重要性を効果的に強調します。

要約(オリジナル)

This paper tackles the challenge of automatically assessing physical rehabilitation exercises for patients who perform the exercises without clinician supervision. The objective is to provide a quality score to ensure correct performance and achieve desired results. To achieve this goal, a new graph-based model, the Dense Spatio-Temporal Graph Conv-GRU Network with Transformer, is introduced. This model combines a modified version of STGCN and transformer architectures for efficient handling of spatio-temporal data. The key idea is to consider skeleton data respecting its non-linear structure as a graph and detecting joints playing the main role in each rehabilitation exercise. Dense connections and GRU mechanisms are used to rapidly process large 3D skeleton inputs and effectively model temporal dynamics. The transformer encoder’s attention mechanism focuses on relevant parts of the input sequence, making it useful for evaluating rehabilitation exercises. The evaluation of our proposed approach on the KIMORE and UI-PRMD datasets highlighted its potential, surpassing state-of-the-art methods in terms of accuracy and computational time. This resulted in faster and more accurate learning and assessment of rehabilitation exercises. Additionally, our model provides valuable feedback through qualitative illustrations, effectively highlighting the significance of joints in specific exercises.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google