Hand Hygiene Assessment via Joint Step Segmentation and Key Action Scorer

要約

手指衛生は、世界保健機関 (WHO) によって提案された標準的な 6 段階の手洗い行動です。
しかし、医療スタッフが手指衛生を行うよう監督する良い方法はなく、病気が蔓延する潜在的なリスクをもたらします。
既存のアクション評価作業では、通常、ビデオ全体の全体的な品質を予測します。
ただし、手指衛生の評価では、手指衛生動作の内部構造が重要です。
したがって、正確な手指衛生評価のために、ステップセグメンテーションとキーアクションスコアラーを共同で実行するための、新しいきめの細かい学習フレームワークを提案します。
既存の時間セグメンテーション手法は通常、セグメンテーションの堅牢性を向上させるために多段階の畳み込みネットワークを採用していますが、長距離依存性がないため、簡単に過剰セグメンテーションにつながります。
この問題に対処するために、ステップ分割用の多段畳み込み変換器ネットワークを設計します。
手洗いの各ステップには、手洗いの質を決定するいくつかの重要なアクションが含まれるという観察に基づいて、各ステップの主要なアクションの品質を評価する一連のキーアクションスコアラーを設計します。
さらに、手指衛生評価には統一されたデータセットがありません。
そのため、医療スタッフの監督の下、きめ細かい注釈が付けられた 300 のビデオ シーケンスを含むビデオ データセットを提供します。
データセットに関する広範な実験により、私たちの方法が手指衛生ビデオを適切に評価し、優れたパフォーマンスを達成できることが示唆されています。

要約(オリジナル)

Hand hygiene is a standard six-step hand-washing action proposed by the World Health Organization (WHO). However, there is no good way to supervise medical staff to do hand hygiene, which brings the potential risk of disease spread. Existing action assessment works usually make an overall quality prediction on an entire video. However, the internal structures of hand hygiene action are important in hand hygiene assessment. Therefore, we propose a novel fine-grained learning framework to perform step segmentation and key action scorer in a joint manner for accurate hand hygiene assessment. Existing temporal segmentation methods usually employ multi-stage convolutional network to improve the segmentation robustness, but easily lead to over-segmentation due to the lack of the long-range dependence. To address this issue, we design a multi-stage convolution-transformer network for step segmentation. Based on the observation that each hand-washing step involves several key actions which determine the hand-washing quality, we design a set of key action scorers to evaluate the quality of key actions in each step. In addition, there lacks a unified dataset in hand hygiene assessment. Therefore, under the supervision of medical staff, we contribute a video dataset that contains 300 video sequences with fine-grained annotations. Extensive experiments on the dataset suggest that our method well assesses hand hygiene videos and achieves outstanding performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google