Res-VMamba: Fine-Grained Food Category Visual Classification Using Selective State Space Models with Deep Residual Learning

要約

食品分類は食品ビジョンタスクを開発するための基礎であり、計算栄養学の急成長分野で重要な役割を果たします。
食品は複雑で詳細な分類が必要であるため、最近の学術研究では主に畳み込みニューラル ネットワーク (CNN) やビジョン トランスフォーマー (ViT) を変更して食品カテゴリ分類を実行しています。
ただし、きめ細かい特徴を学習するには、CNN バックボーンに追加の構造設計が必要ですが、セルフ アテンション モジュールを含む ViT では計算の複雑さが増加します。
ここ数カ月間、選択メカニズムとスキャンによる計算 (S6) を介した新しいシーケンス状態空間 (S4) モデル (俗に Mamba と呼ばれます) が、Transformer アーキテクチャと比較して優れたパフォーマンスと計算効率を実証しました。
Mamba メカニズムを画像タスク (分類など) に組み込んだ VMamba モデルは、現在、ImageNet データセット上で最先端 (SOTA) を確立しています。
この研究では、学術的に過小評価されている食品データセット CNFOOD-241 を導入し、VMamba モデル内での残差学習フレームワークの統合を先駆けて、元の VMamba アーキテクチャ設計に固有のグローバル状態とローカル状態の両方の特徴を同時に活用します。
研究結果は、VMamba がきめ細かい食品分類において現在の SOTA モデルを上回っていることを示しています。
提案された Res-VMamba は、事前学習された重みなしで分類精度をさらに 79.54\% に向上させます。
私たちの調査結果は、私たちが提案した方法論が、CNFOOD-241 データセット上の食品認識における SOTA パフォーマンスの新しいベンチマークを確立していることを明らかにしています。
コードは GitHub: https://github.com/ChiShengChen/ResVMamba で入手できます。

要約(オリジナル)

Food classification is the foundation for developing food vision tasks and plays a key role in the burgeoning field of computational nutrition. Due to the complexity of food requiring fine-grained classification, recent academic research mainly modifies Convolutional Neural Networks (CNNs) and/or Vision Transformers (ViTs) to perform food category classification. However, to learn fine-grained features, the CNN backbone needs additional structural design, whereas ViT, containing the self-attention module, has increased computational complexity. In recent months, a new Sequence State Space (S4) model, through a Selection mechanism and computation with a Scan (S6), colloquially termed Mamba, has demonstrated superior performance and computation efficiency compared to the Transformer architecture. The VMamba model, which incorporates the Mamba mechanism into image tasks (such as classification), currently establishes the state-of-the-art (SOTA) on the ImageNet dataset. In this research, we introduce an academically underestimated food dataset CNFOOD-241, and pioneer the integration of a residual learning framework within the VMamba model to concurrently harness both global and local state features inherent in the original VMamba architectural design. The research results show that VMamba surpasses current SOTA models in fine-grained and food classification. The proposed Res-VMamba further improves the classification accuracy to 79.54\% without pretrained weight. Our findings elucidate that our proposed methodology establishes a new benchmark for SOTA performance in food recognition on the CNFOOD-241 dataset. The code can be obtained on GitHub: https://github.com/ChiShengChen/ResVMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google