Advancing Smart Malnutrition Monitoring: A Multi-Modal Learning Approach for Vital Health Parameter Estimation

要約

栄養失調は、必須栄養素の不十分な摂取に起因し、重要な器官や身体機能全体に悪影響を及ぼし、世界の健康に重大な脅威をもたらします。
この課題に対抗するために、従来の技術と非侵襲的技術の両方を組み込んだ定期検査と集団スクリーニングが採用されてきました。
ただし、これらのアプローチには、追加の機器の必要性、包括的な特徴表現の欠如、適切な健康指標の欠如、体脂肪率 (BFP) や基礎代謝率 (BFP) の正確な推定にスマートフォンを実装できないことなど、重大な制限があります。
BMR)、およびBody Mass Index (BMI)を使用して、効率的なスマート栄養失調モニタリングを可能にします。
これらの制約に対処するために、この研究では、個人の単一の全身画像を活用して、マルチモーダル学習フレームワーク内で身長、体重、その他の重要な健康パラメータを推定する、画期的でスケーラブルで堅牢なスマート栄養失調モニタリング システムを紹介します。
私たちが提案する方法論には、高精度の 3D 点群の再構築が含まれており、そこからヘッドレス 3D 分類ネットワークを使用して 512 次元の特徴埋め込みが抽出されます。
同時に、顔と体の埋め込みも抽出され、学習可能なパラメータの適用を通じて、これらの特徴が体重を正確に推定するために利用されます。
さらに、BMR、BFP、BMI などの重要な健康指標を計算して対象者の健康状態を包括的に分析し、個別の栄養計画の提供を容易にします。
このモデルは、複数のデバイスにわたる幅広い照明条件に対して堅牢であると同時に、身長と体重の推定において $\pm$ 4.7 cm および $\pm$ 5.3 kg という低い平均絶対誤差 (MAE) を達成しています。

要約(オリジナル)

Malnutrition poses a significant threat to global health, resulting from an inadequate intake of essential nutrients that adversely impacts vital organs and overall bodily functioning. Periodic examinations and mass screenings, incorporating both conventional and non-invasive techniques, have been employed to combat this challenge. However, these approaches suffer from critical limitations, such as the need for additional equipment, lack of comprehensive feature representation, absence of suitable health indicators, and the unavailability of smartphone implementations for precise estimations of Body Fat Percentage (BFP), Basal Metabolic Rate (BMR), and Body Mass Index (BMI) to enable efficient smart-malnutrition monitoring. To address these constraints, this study presents a groundbreaking, scalable, and robust smart malnutrition-monitoring system that leverages a single full-body image of an individual to estimate height, weight, and other crucial health parameters within a multi-modal learning framework. Our proposed methodology involves the reconstruction of a highly precise 3D point cloud, from which 512-dimensional feature embeddings are extracted using a headless-3D classification network. Concurrently, facial and body embeddings are also extracted, and through the application of learnable parameters, these features are then utilized to estimate weight accurately. Furthermore, essential health metrics, including BMR, BFP, and BMI, are computed to conduct a comprehensive analysis of the subject’s health, subsequently facilitating the provision of personalized nutrition plans. While being robust to a wide range of lighting conditions across multiple devices, our model achieves a low Mean Absolute Error (MAE) of $\pm$ 4.7 cm and $\pm$ 5.3 kg in estimating height and weight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google