A-OKVQA: A Benchmark for Visual Question Answering using World Knowledge

要約

視覚的質問応答（VQA）タスクは、視覚的および自然言語入力を共同で推論できるAIモデルの開発のための有意義なテストベッドを提供することを目指しています。
VQAデータセットの急増にもかかわらず、この目標は一連の一般的な制限によって妨げられています。
これらには、概念と言語構造の両方で繰り返される比較的単純な質問への依存、ペアのイメージの外で必要とされる世界の知識がほとんどないこと、正しい答えに到達するために必要な限られた推論が含まれます。
A-OKVQAを紹介します。これは、回答するために幅広い常識と世界の知識を必要とする約25Kの質問の多様なセットで構成されるクラウドソーシングデータセットです。
既存の知識ベースのVQAデータセットとは対照的に、質問は通常、知識ベースにクエリを実行するだけでは答えられず、代わりに、画像に描かれているシーンに関する何らかの常識的な推論が必要です。
この新しいデータセットの可能性を、その内容の詳細な分析と、さまざまな最先端のビジョン言語モデルでのベースラインパフォーマンス測定を通じて示します。
プロジェクトページ：http：//a-okvqa.allenai.org/

要約(オリジナル)

The Visual Question Answering (VQA) task aspires to provide a meaningful testbed for the development of AI models that can jointly reason over visual and natural language inputs. Despite a proliferation of VQA datasets, this goal is hindered by a set of common limitations. These include a reliance on relatively simplistic questions that are repetitive in both concepts and linguistic structure, little world knowledge needed outside of the paired image, and limited reasoning required to arrive at the correct answer. We introduce A-OKVQA, a crowdsourced dataset composed of a diverse set of about 25K questions requiring a broad base of commonsense and world knowledge to answer. In contrast to the existing knowledge-based VQA datasets, the questions generally cannot be answered by simply querying a knowledge base, and instead require some form of commonsense reasoning about the scene depicted in the image. We demonstrate the potential of this new dataset through a detailed analysis of its contents and baseline performance measurements over a variety of state-of-the-art vision-language models. Project page: http://a-okvqa.allenai.org/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google