Structured Vision-Language Pretraining for Computational Cooking

要約

Vision-Language Pretraining (VLP) および Foundation モデルは、一般的なベンチマークで SoTA パフォーマンスを達成するための頼りになるレシピです。
ただし、より構造化された入力データを使用して、調理アプリケーションなどのより複雑な視覚言語タスクにこれらの強力な手法を活用することは、まだほとんど調査されていません。
この作業では、これらの手法を構造化テキスト ベースの計算料理タスクに活用することを提案します。
VLPCook (Structured Vision-Language Pretraining for Computational Cooking) と呼ばれる私たちの戦略は、まず既存の画像とテキストのペアを画像と構造化テキストのペアに変換します。
これにより、結果のデータセットの構造化されたデータに適応した VLP 目的を使用して VLPCook モデルを事前トレーニングし、その後、ダウンストリームの計算クッキング タスクで微調整することができます。
微調整中に、ローカルおよびグローバルのテキスト コンテキストを提供するために事前トレーニング済みの基盤モデル (CLIP など) を活用して、ビジュアル エンコーダーも強化します。
VLPCook は、大規模な Recipe1M データセットでのクロスモーダル食品検索のタスクで、現在の SoTA を大幅に上回っています (+3.3 Recall@1 絶対改善)。
最後に、特に Recipe1M+ データセットで、VLP の重要性を検証するためにさらに実験を行います。
コードは公開されます。

要約(オリジナル)

Vision-Language Pretraining (VLP) and Foundation models have been the go-to recipe for achieving SoTA performance on general benchmarks. However, leveraging these powerful techniques for more complex vision-language tasks, such as cooking applications, with more structured input data, is still little investigated. In this work, we propose to leverage these techniques for structured-text based computational cuisine tasks. Our strategy, dubbed VLPCook (Structured Vision-Language Pretraining for Computational Cooking), first transforms existing image-text pairs to image and structured-text pairs. This allows to pretrain our VLPCook model using VLP objectives adapted to the strutured data of the resulting datasets, then finetuning it on downstream computational cooking tasks. During finetuning, we also enrich the visual encoder, leveraging pretrained foundation models (e.g. CLIP) to provide local and global textual context. VLPCook outperforms current SoTA by a significant margin (+3.3 Recall@1 absolute improvement) on the task of Cross-Modal Food Retrieval on the large Recipe1M dataset. Finally, we conduct further experiments on VLP to validate their importance, especially on the Recipe1M+ dataset. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google