Clustering Egocentric Images in Passive Dietary Monitoring with Self-Supervised Learning

要約

ガーナでの受動的な食事モニタリングに関する最近の食事評価フィールド調査では、25 万を超える野生の画像を収集しました。
このデータセットは、受動的な監視カメラ技術を使用して、低所得国および中所得国における個々の食物と栄養素の摂取量の正確な測定を促進するための継続的な取り組みです。
現在のデータセットには、ガーナの農村地域と都市部の両方の 20 世帯 (74 人の被験者) が含まれており、研究では 2 種類のウェアラブル カメラが使用されました。
ウェアラブル カメラが開始されると、対象者の活動を継続的にキャプチャし、分析を行う前にクリーニングして注釈を付ける大量のデータを生成します。
データの後処理と注釈タスクを容易にするために、大量の自己中心的な画像を個別のイベントにクラスター化するための新しい自己教師あり学習フレームワークを提案します。
各イベントは、時間的に連続し、文脈的に類似した一連の画像で構成されます。
画像を個別のイベントにクラスター化することで、注釈者と栄養士はデータをより効率的に調べて分析し、その後の食事評価プロセスを容易にすることができます。
グラウンド トゥルース ラベルを使用したホールドアウト テスト セットで検証された、提案されたフレームワークは、クラスタリングの品質と分類精度の点でベースラインよりも優れています。

要約(オリジナル)

In our recent dietary assessment field studies on passive dietary monitoring in Ghana, we have collected over 250k in-the-wild images. The dataset is an ongoing effort to facilitate accurate measurement of individual food and nutrient intake in low and middle income countries with passive monitoring camera technologies. The current dataset involves 20 households (74 subjects) from both the rural and urban regions of Ghana, and two different types of wearable cameras were used in the studies. Once initiated, wearable cameras continuously capture subjects’ activities, which yield massive amounts of data to be cleaned and annotated before analysis is conducted. To ease the data post-processing and annotation tasks, we propose a novel self-supervised learning framework to cluster the large volume of egocentric images into separate events. Each event consists of a sequence of temporally continuous and contextually similar images. By clustering images into separate events, annotators and dietitians can examine and analyze the data more efficiently and facilitate the subsequent dietary assessment processes. Validated on a held-out test set with ground truth labels, the proposed framework outperforms baselines in terms of clustering quality and classification accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google