NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images

要約

高齢者の多くは、食事摂取量を効果的に追跡することが困難であり、栄養関連の健康合併症に対する感受性を悪化させています。
自己報告方法は不正確であることが多く、かなりのバイアスがかかっています。
ただし、インテリジェントな予測方法を活用すると、このプロセスを自動化し、精度を高めることができます。
最近の研究では、コンピュータ ビジョン予測システムを使用して食品画像から栄養情報を予測することが検討されています。
それでも、これらの方法は特定の状況に合わせて調整されていることが多く、食品の画像に加えて他の入力が必要であるか、包括的な栄養情報が提供されていません。
この論文は、さまざまなニューラル ネットワーク アーキテクチャを活用して食事の画像から栄養成分を直接予測することにより、食事摂取量推定の有効性を高めることを目的としています。
包括的な実験と評価を通じて、カロリー (kcal)、質量 (g)、タンパク質 (g)、脂肪 (g) を予測する 5 つの回帰ヘッドにつながる 3 つの完全に接続された層を備えたビジョン トランスフォーマー ベース アーキテクチャを利用したモデル、NutritionVerse-Direct を紹介します。
）、食事に含まれる炭水化物（g）。
NutritionVerse-Direct は、NutritionVerse-Real データセットで総合平均誤差スコア 412.6 をもたらし、Inception-ResNet モデルより 25.5% 向上し、食事摂取量の推定精度を向上させる可能性を示しています。

要約(オリジナル)

Many aging individuals encounter challenges in effectively tracking their dietary intake, exacerbating their susceptibility to nutrition-related health complications. Self-reporting methods are often inaccurate and suffer from substantial bias; however, leveraging intelligent prediction methods can automate and enhance precision in this process. Recent work has explored using computer vision prediction systems to predict nutritional information from food images. Still, these methods are often tailored to specific situations, require other inputs in addition to a food image, or do not provide comprehensive nutritional information. This paper aims to enhance the efficacy of dietary intake estimation by leveraging various neural network architectures to directly predict a meal’s nutritional content from its image. Through comprehensive experimentation and evaluation, we present NutritionVerse-Direct, a model utilizing a vision transformer base architecture with three fully connected layers that lead to five regression heads predicting calories (kcal), mass (g), protein (g), fat (g), and carbohydrates (g) present in a meal. NutritionVerse-Direct yields a combined mean average error score on the NutritionVerse-Real dataset of 412.6, an improvement of 25.5% over the Inception-ResNet model, demonstrating its potential for improving dietary intake estimation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google