WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines

要約

ビジョン言語モデル（VLM）は、特に英語以外の言語や過小評価されている文化的文脈で、文化固有の知識と格闘していることがよくあります。
そのような知識に関する彼らの理解を評価するために、多言語で多文化的で視覚的に根拠のある言語理解のための大規模なスケールのベンチマークであるWorldCuisinesを紹介します。
このベンチマークには、30の言語と方言にわたってテキストイメージペアを備えた視覚的な質問応答（VQA）データセットが含まれ、9つの言語ファミリにまたがり、100万を超えるデータポイントを備えており、これまでで最大の多文化VQAベンチマークになります。
皿名とその起源を識別するためのタスクが含まれています。
トレーニングデータセット（100万インスタンス）とともに、2つのサイズ（12Kおよび60Kインスタンス）の評価データセットを提供します。
私たちの調査結果は、VLMSが正しい場所のコンテキストでより良くパフォーマンスを発揮する一方で、敵対的なコンテキストと闘い、特定の地域の料理と言語を予測することを示しています。
将来の研究をサポートするために、VQAデータとともに注釈付きの食品エントリと画像を含む知識ベースをリリースします。

要約(オリジナル)

Vision Language Models (VLMs) often struggle with culture-specific knowledge, particularly in languages other than English and in underrepresented cultural contexts. To evaluate their understanding of such knowledge, we introduce WorldCuisines, a massive-scale benchmark for multilingual and multicultural, visually grounded language understanding. This benchmark includes a visual question answering (VQA) dataset with text-image pairs across 30 languages and dialects, spanning 9 language families and featuring over 1 million data points, making it the largest multicultural VQA benchmark to date. It includes tasks for identifying dish names and their origins. We provide evaluation datasets in two sizes (12k and 60k instances) alongside a training dataset (1 million instances). Our findings show that while VLMs perform better with correct location context, they struggle with adversarial contexts and predicting specific regional cuisines and languages. To support future research, we release a knowledge base with annotated food entries and images along with the VQA data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google