Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction

要約

2型糖尿病の管理には効果的な食事監視が重要ですが、カロリー摂取量を正確に推定することは大きな課題です。
連続グルコースモニター（CGM）は貴重な生理学的データを提供しますが、個人間および食事固有の変動により、食事の完全な栄養プロファイルをキャプチャするのに不足していることがよくあります。
この作業では、CGMの時系列データ、人口統計/微生物叢、および食品前の食品画像を共同でレバレバリングするマルチモーダルディープラーニングフレームワークを紹介し、カロリーの推定を強化します。
私たちのモデルは、注意ベースのエンコーディングと食事の画像のための畳み込み特徴抽出、CGMのための多層パーセプロン、およびマイクロビオームデータに続いて、共同推論のための後期融合戦略を利用します。
同期されたCGM、人口統計およびマイクロビオームのデータ、および標準化されたカロリーラベルを備えた食事写真を組み込んだ40人以上の参加者のキュレーションされたデータセットでアプローチを評価します。
私たちのモデルは、0.2544のルート平均二乗相対誤差（RMSRE）を達成し、ベースラインモデルを50％以上上回ります。
これらの発見は、慢性疾患管理のための自動化された食事評価ツールを改善するためのマルチモーダルセンシングの可能性を示しています。

要約(オリジナル)

Effective dietary monitoring is critical for managing Type 2 diabetes, yet accurately estimating caloric intake remains a major challenge. While continuous glucose monitors (CGMs) offer valuable physiological data, they often fall short in capturing the full nutritional profile of meals due to inter-individual and meal-specific variability. In this work, we introduce a multimodal deep learning framework that jointly leverages CGM time-series data, Demographic/Microbiome, and pre-meal food images to enhance caloric estimation. Our model utilizes attention based encoding and a convolutional feature extraction for meal imagery, multi-layer perceptrons for CGM and Microbiome data followed by a late fusion strategy for joint reasoning. We evaluate our approach on a curated dataset of over 40 participants, incorporating synchronized CGM, Demographic and Microbiome data and meal photographs with standardized caloric labels. Our model achieves a Root Mean Squared Relative Error (RMSRE) of 0.2544, outperforming the baselines models by over 50%. These findings demonstrate the potential of multimodal sensing to improve automated dietary assessment tools for chronic disease management.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google