WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines

要約

ビジョン言語モデル (VLM) は、特に英語以外の言語や過小評価されている文化的背景において、文化固有の知識に苦労することがよくあります。
そのような知識の理解を評価するために、多言語および多文化の、視覚に基づいた言語理解のための大規模なベンチマークである WorldCuisines を紹介します。
このベンチマークには、30 の言語と方言にわたるテキストと画像のペアを含むビジュアル質問応答 (VQA) データセットが含まれており、9 つの言語族にまたがり、100 万を超えるデータ ポイントを備えており、これまでで最大の多文化 VQA ベンチマークとなっています。
料理の名前とその由来を特定するタスクが含まれます。
トレーニング データセット (100 万インスタンス) とともに、2 つのサイズ (12,000 インスタンスと 60,000 インスタンス) の評価データセットを提供します。
私たちの調査結果によると、VLM は正しい位置コンテキストではパフォーマンスが向上しますが、敵対的なコンテキストや特定の地域の料理や言語の予測には苦労していることがわかりました。
将来の研究をサポートするために、VQA データとともに注釈付きの食品エントリと画像を含むナレッジ ベースをリリースします。

要約(オリジナル)

Vision Language Models (VLMs) often struggle with culture-specific knowledge, particularly in languages other than English and in underrepresented cultural contexts. To evaluate their understanding of such knowledge, we introduce WorldCuisines, a massive-scale benchmark for multilingual and multicultural, visually grounded language understanding. This benchmark includes a visual question answering (VQA) dataset with text-image pairs across 30 languages and dialects, spanning 9 language families and featuring over 1 million data points, making it the largest multicultural VQA benchmark to date. It includes tasks for identifying dish names and their origins. We provide evaluation datasets in two sizes (12k and 60k instances) alongside a training dataset (1 million instances). Our findings show that while VLMs perform better with correct location context, they struggle with adversarial contexts and predicting specific regional cuisines and languages. To support future research, we release a knowledge base with annotated food entries and images along with the VQA data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google