NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches

要約

栄養不良は生活の質の低下に直接関係しているため、健康的な食生活をサポートする政策やプログラムに情報を提供するには、正確な食事摂取量の推定が重要です。
しかし、食事日記などの自己報告方法には大きなバイアスがかかります。
他の従来の食事評価技術や、モバイル アプリケーションなどの新たな代替アプローチでは、高い時間コストがかかり、訓練を受けた担当者が必要になる場合があります。
最近の研究は、コンピュータービジョンと機械学習を使用して、食品の画像から食事摂取量を自動的に推定することに焦点を当てていますが、多様な視点、モダリティ、食品の注釈を備えた包括的なデータセットが不足しているため、そのような方法の正確性と現実性が妨げられています。
この制限に対処するために、NutritionVerse-Synth を導入します。これは、関連する食事情報とマルチモーダル アノテーション (深度画像、インスタンス マスク、セマンティック マスクを含む) を備えた 84,984 枚の写実的な合成 2D 食品画像からなる初の大規模データセットです。
さらに、リアルさを評価するために、251 料理の 889 枚の画像を含む実際の画像データセット、NutritionVerse-Real を収集します。
これらの新しいデータセットを活用して、間接セグメンテーション ベースおよび直接予測ネットワークを含む、さまざまな食事摂取量推定アプローチの実証研究である NutritionVerse を開発し、ベンチマークします。
実際の画像を使用して合成データで事前トレーニングされたモデルをさらに微調整して、合成データと実際のデータの融合に関する洞察を提供します。
最後に、食事センシングのための機械学習を加速するオープンな取り組みの一環として、両方のデータセット (NutritionVerse-Synth、NutritionVerse-Real) を https://www.kaggle.com/nutritionverse/datasets でリリースします。

要約(オリジナル)

Accurate dietary intake estimation is critical for informing policies and programs to support healthy eating, as malnutrition has been directly linked to decreased quality of life. However self-reporting methods such as food diaries suffer from substantial bias. Other conventional dietary assessment techniques and emerging alternative approaches such as mobile applications incur high time costs and may necessitate trained personnel. Recent work has focused on using computer vision and machine learning to automatically estimate dietary intake from food images, but the lack of comprehensive datasets with diverse viewpoints, modalities and food annotations hinders the accuracy and realism of such methods. To address this limitation, we introduce NutritionVerse-Synth, the first large-scale dataset of 84,984 photorealistic synthetic 2D food images with associated dietary information and multimodal annotations (including depth images, instance masks, and semantic masks). Additionally, we collect a real image dataset, NutritionVerse-Real, containing 889 images of 251 dishes to evaluate realism. Leveraging these novel datasets, we develop and benchmark NutritionVerse, an empirical study of various dietary intake estimation approaches, including indirect segmentation-based and direct prediction networks. We further fine-tune models pretrained on synthetic data with real images to provide insights into the fusion of synthetic and real data. Finally, we release both datasets (NutritionVerse-Synth, NutritionVerse-Real) on https://www.kaggle.com/nutritionverse/datasets as part of an open initiative to accelerate machine learning for dietary sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google