HRTR: A Single-stage Transformer for Fine-grained Sub-second Action Segmentation in Stroke Rehabilitation

要約

脳卒中のリハビリテーションでは、多くの場合、患者の動きを正確に追跡して進歩を監視する必要があります。リハビリテーションエクササイズの複雑さは、2つの重要な課題を提示します。微細な（1秒未満の）アクション検出です。
この作業では、高解像度の時間的変圧器（HRTR）を提案し、高解像度（きめ細かい）、単一段階変圧器のサブセカンドアクションを分類し、マルチステージの方法と後処理の必要性を排除することを提案します。
改良なしで、HRTRは、ストローク関連データセットと一般的なデータセットの両方で最先端のシステムを上回り、StrokereHabビデオで70.1、Strokerehab IMUで69.4、50Saladsで88.4を達成します。

要約(オリジナル)

Stroke rehabilitation often demands precise tracking of patient movements to monitor progress, with complexities of rehabilitation exercises presenting two critical challenges: fine-grained and sub-second (under one-second) action detection. In this work, we propose the High Resolution Temporal Transformer (HRTR), to time-localize and classify high-resolution (fine-grained), sub-second actions in a single-stage transformer, eliminating the need for multi-stage methods and post-processing. Without any refinements, HRTR outperforms state-of-the-art systems on both stroke related and general datasets, achieving Edit Score (ES) of 70.1 on StrokeRehab Video, 69.4 on StrokeRehab IMU, and 88.4 on 50Salads.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google