PulmoFusion: Advancing Pulmonary Health with Efficient Multi-Modal Fusion

要約

従来のリモートスピロメトリには、効果的な肺モニタリングに必要な精度がありません。
RGBまたはサーマルビデオデータを患者メタデータと統合するマルチモーダル予測モデルを使用して、新しい非侵襲的アプローチを提示します。
私たちの方法は、回帰タスクでのSNN制限を克服するために軽量CNNを使用して、ピーク呼気流（PEF）と強制的な副能力（FVC）の強制呼気量（FEV1）と強制的な容量（FVC）の分類のためにエネルギー効率の高いスパイクニューラルネットワーク（SNN）を活用します。
マルチモーダルデータの統合は、マルチヘッドの注意層により改善され、K-fold検証とアンサンブル学習を採用して堅牢性を高めます。
SNNモデルは、熱データを使用して、呼吸サイクルベースで92％の精度と患者の99.5％を達成します。
PEF回帰モデルは、0.11（熱）および0.26（RGB）の相対的なRMSを達成し、FEV1/FVC予測で4.52％のMAEで、最先端のパフォーマンスを確立します。
コードとデータセットは、https：//github.com/ahmed-sharshar/respirodynamics.gitにあります

要約(オリジナル)

Traditional remote spirometry lacks the precision required for effective pulmonary monitoring. We present a novel, non-invasive approach using multimodal predictive models that integrate RGB or thermal video data with patient metadata. Our method leverages energy-efficient Spiking Neural Networks (SNNs) for the regression of Peak Expiratory Flow (PEF) and classification of Forced Expiratory Volume (FEV1) and Forced Vital Capacity (FVC), using lightweight CNNs to overcome SNN limitations in regression tasks. Multimodal data integration is improved with a Multi-Head Attention Layer, and we employ K-Fold validation and ensemble learning to boost robustness. Using thermal data, our SNN models achieve 92% accuracy on a breathing-cycle basis and 99.5% patient-wise. PEF regression models attain Relative RMSEs of 0.11 (thermal) and 0.26 (RGB), with an MAE of 4.52% for FEV1/FVC predictions, establishing state-of-the-art performance. Code and dataset can be found on https://github.com/ahmed-sharshar/RespiroDynamics.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google