Deep learning empowered sensor fusion boosts infant movement classification

要約

発達中の神経系の完全性を評価するために、プレヒトル全身運動評価 (GMA) は、乳児期早期の神経障害の診断における臨床的価値が認められています。
GMA は、アプリケーションの規模を拡大し、人間の評価者のトレーニングのコストを回避し、自発的な運動パターンの分類をさらに標準化することを目的とした機械学習アプローチを通じてますます強化されています。
しかし、利用可能なディープ ラーニング ツールはすべて単一のセンサー モダリティに基づいており、十分な訓練を受けた人間の評価者のツールよりも依然として大幅に劣っています。
すべてのモデルは独自の/サイロデータセットに基づいて設計、トレーニング、評価されるため、これらのアプローチはほとんど比較できません。
この研究では、そわそわした動き (FM) を評価するためのセンサー フュージョン アプローチを提案します。
FM は、定型発達の参加者 51 名から録音されました。
3 つの異なるセンサー モダリティ (圧力センサー、慣性センサー、視覚センサー) を比較しました。
乳児の動作分類のためのさまざまな組み合わせと 2 つのセンサー フュージョン アプローチ (後期および初期フュージョン) がテストされ、マルチセンサー システムが単一モダリティ評価より優れているかどうかが評価されました。
畳み込みニューラル ネットワーク (CNN) アーキテクチャを使用して、動作パターンを分類しました。
3 センサー フュージョンのパフォーマンス (分類精度 94.5%) は、評価した単一モダリティのパフォーマンスよりも大幅に高かった。
我々は、センサーフュージョンアプローチが乳児の運動パターンの自動分類にとって有望な手段であることを示す。
堅牢なセンサー融合システムの開発により、AI ベースの神経機能の早期認識が大幅に強化され、最終的には神経発達状態の自動早期検出が容易になる可能性があります。

要約(オリジナル)

To assess the integrity of the developing nervous system, the Prechtl general movement assessment (GMA) is recognized for its clinical value in diagnosing neurological impairments in early infancy. GMA has been increasingly augmented through machine learning approaches intending to scale-up its application, circumvent costs in the training of human assessors and further standardize classification of spontaneous motor patterns. Available deep learning tools, all of which are based on single sensor modalities, are however still considerably inferior to that of well-trained human assessors. These approaches are hardly comparable as all models are designed, trained and evaluated on proprietary/silo-data sets. With this study we propose a sensor fusion approach for assessing fidgety movements (FMs). FMs were recorded from 51 typically developing participants. We compared three different sensor modalities (pressure, inertial, and visual sensors). Various combinations and two sensor fusion approaches (late and early fusion) for infant movement classification were tested to evaluate whether a multi-sensor system outperforms single modality assessments. Convolutional neural network (CNN) architectures were used to classify movement patterns. The performance of the three-sensor fusion (classification accuracy of 94.5%) was significantly higher than that of any single modality evaluated. We show that the sensor fusion approach is a promising avenue for automated classification of infant motor patterns. The development of a robust sensor fusion system may significantly enhance AI-based early recognition of neurofunctions, ultimately facilitating automated early detection of neurodevelopmental conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google