A Video-based End-to-end Pipeline for Non-nutritive Sucking Action Recognition and Segmentation in Young Infants

要約

市販のベビーモニターのビデオ映像を使用して、発達遅延の潜在的なバイオマーカーとして、非栄養吸啜 (NNS) (栄養が供給されていない乳児の吸啜パターン) を検出するためのエンドツーエンドのコンピューター ビジョン パイプラインを提示します。
.
NNS の臨床的 (またはアルゴリズム的) 評価に対する 1 つの障壁は、その希薄性に起因しており、専門家は関連する活動の分数を見つけるために何時間もの映像をかき分けなければなりません。
当社の NNS アクティビティ セグメンテーション アルゴリズムは、高い確実性で NNS の期間を特定することにより、この問題を解決します。手動で注釈を付けた NNS 臨床ベビーベッド データセットから抽出された、30 の異種の 60 秒クリップ全体で最大 94.0\% の平均精度と 84.9\% の平均再現率
19 人の乳児からの 183 時間にわたる一晩のベビー モニター映像。
私たちの方法は、時空間深層学習ネットワークと乳児固有のポーズ推定を使用する基本的な NNS アクション認識アルゴリズムに基づいており、960 2.5 秒のバランスの取れた NNS クリップと非 NNS クリップのバイナリ分類で 94.9\% の精度を達成しています。
2 番目の独立した公開 NNS イン ザ ワイルド データセットでテストしたところ、NNS 認識分類は 92.3\% の精度に達し、NNS セグメンテーションは 90.8\% の精度と 84.2\% の再現率を達成しました。

要約(オリジナル)

We present an end-to-end computer vision pipeline to detect non-nutritive sucking (NNS) — an infant sucking pattern with no nutrition delivered — as a potential biomarker for developmental delays, using off-the-shelf baby monitor video footage. One barrier to clinical (or algorithmic) assessment of NNS stems from its sparsity, requiring experts to wade through hours of footage to find minutes of relevant activity. Our NNS activity segmentation algorithm solves this problem by identifying periods of NNS with high certainty — up to 94.0\% average precision and 84.9\% average recall across 30 heterogeneous 60 s clips, drawn from our manually annotated NNS clinical in-crib dataset of 183 hours of overnight baby monitor footage from 19 infants. Our method is based on an underlying NNS action recognition algorithm, which uses spatiotemporal deep learning networks and infant-specific pose estimation, achieving 94.9\% accuracy in binary classification of 960 2.5 s balanced NNS vs. non-NNS clips. Tested on our second, independent, and public NNS in-the-wild dataset, NNS recognition classification reaches 92.3\% accuracy, and NNS segmentation achieves 90.8\% precision and 84.2\% recall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google