MR-STGN: Multi-Residual Spatio Temporal Graph Network Using Attention Fusion for Patient Action Assessment

要約

患者の行動の正確な評価は、疾患の進行の監視と治療の有効性に大きく貢献するため、医療において重要な役割を果たします。
ただし、患者の行動を評価するための従来のアプローチは、多くの場合、主観的で時間がかかる手動での観察とスコアリングに依存しています。
このホワイトペーパーでは、角度3Dスケルトンと位置的3Dスケルトンの両方を組み込んだ多residual Spatio時間グラフネットワーク（MR-STGN）を使用して、患者のアクション評価のための自動化されたアプローチを提案します。
MR-STGNは、患者の作用の時空間的ダイナミクスをキャプチャするように特別に設計されています。
これは、複数の残差レイヤーからの情報を統合し、各レイヤーが異なるレベルの抽象化で特徴を抽出することにより、これを達成します。
さらに、注意融合メカニズムをネットワークに統合し、さまざまな機能の適応重みを促進します。
これにより、モデルは患者の動きの最も適切な側面に集中する権限を与え、注意を必要とする特定の身体部分または動きに関する正確な指示を提供します。
アブレーション研究は、提案されたモデル内の個々のコンポーネントの影響を分析するために実施されます。
UI-PRMDデータセットでモデルを評価し、リアルタイムの患者アクションスコアを正確に予測し、最先端の方法を上回るパフォーマンスを実証します。

要約(オリジナル)

Accurate assessment of patient actions plays a crucial role in healthcare as it contributes significantly to disease progression monitoring and treatment effectiveness. However, traditional approaches to assess patient actions often rely on manual observation and scoring, which are subjective and time-consuming. In this paper, we propose an automated approach for patient action assessment using a Multi-Residual Spatio Temporal Graph Network (MR-STGN) that incorporates both angular and positional 3D skeletons. The MR-STGN is specifically designed to capture the spatio-temporal dynamics of patient actions. It achieves this by integrating information from multiple residual layers, with each layer extracting features at distinct levels of abstraction. Furthermore, we integrate an attention fusion mechanism into the network, which facilitates the adaptive weighting of various features. This empowers the model to concentrate on the most pertinent aspects of the patient’s movements, offering precise instructions regarding specific body parts or movements that require attention. Ablation studies are conducted to analyze the impact of individual components within the proposed model. We evaluate our model on the UI-PRMD dataset demonstrating its performance in accurately predicting real-time patient action scores, surpassing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google