Long-tailed Food Classification

要約

食品分類は、各入力画像内の食品の種類を予測するための画像ベースの食事評価の基本ステップとして機能します。
ただし、実際のシナリオでの食品画像の予測は、通常、さまざまな食品クラスにロングテールで分散されており、クラスの不均衡が大きくなり、パフォーマンスが制限されます。
さらに、既存のロングテール分類法はどれも食品データに焦点を当てておらず、食品間のクラス間類似性が低く、クラス内類似性が高いため、より困難になる可能性があります。
この作業では、Food101-LT と VFN-LT を含むロングテール食品分類の 2 つの新しいベンチマーク データセットを最初に紹介します。VFN-LT のサンプル数は、実際のロングテール食品分布を示します。
次に、クラスの不均衡の問題に対処するための新しい 2 フェーズ フレームワークを提案する
-aware データ拡張。
既存の最先端のロングテール分類法と比較することで、この方法の有効性を示し、Food101-LT と VFN-LT の両方のベンチマークで改善されたパフォーマンスを示します。
結果は、私たちの方法を関連する実際のアプリケーションに適用できる可能性を示しています。

要約(オリジナル)

Food classification serves as the basic step of image-based dietary assessment to predict the types of foods in each input image. However, food image predictions in a real world scenario are usually long-tail distributed among different food classes, which cause heavy class-imbalance problems and a restricted performance. In addition, none of the existing long-tailed classification methods focus on food data, which can be more challenging due to the lower inter-class and higher intra-class similarity among foods. In this work, we first introduce two new benchmark datasets for long-tailed food classification including Food101-LT and VFN-LT where the number of samples in VFN-LT exhibits the real world long-tailed food distribution. Then we propose a novel 2-Phase framework to address the problem of class-imbalance by (1) undersampling the head classes to remove redundant samples along with maintaining the learned information through knowledge distillation, and (2) oversampling the tail classes by performing visual-aware data augmentation. We show the effectiveness of our method by comparing with existing state-of-the-art long-tailed classification methods and show improved performance on both Food101-LT and VFN-LT benchmarks. The results demonstrate the potential to apply our method to related real life applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google