Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?

要約

事前トレーニングされた視覚モデルと言語モデルは、視覚的な質問応答など、画像とテキストを含む既存のタスクを上回る最先端の機能を実証しました。
ただし、これらのモデルが、視覚的なコンテンツをクエリするだけでなく、知識集約的で情報を求める質問に答える能力を備えているかどうかは不明のままです。
この研究では、常識的な知識だけでは答えられない情報を求める質問に合わせて調整された視覚的な質問応答データセットである InfoSeek を紹介します。
InfoSeek を使用して、事前トレーニングされたさまざまな視覚的質問応答モデルを分析し、その特性についての洞察を取得します。
私たちの調査結果では、最先端の事前トレーニング済みマルチモーダル モデル (PaLI-X、BLIP2 など) は視覚情報を求める質問に答えるという課題に直面しているが、InfoSeek データセットを微調整することでモデルを導き出せることが明らかになりました。
事前トレーニング中に学んだ詳細な知識を活用します。
さらに、正確な視覚エンティティ認識を使用して関連ドキュメントを取得することで InfoSeek のパフォーマンスを向上できることを示し、大幅な改善の余地があることを示しています。

要約(オリジナル)

Pre-trained vision and language models have demonstrated state-of-the-art capabilities over existing tasks involving images and texts, including visual question answering. However, it remains unclear whether these models possess the capability to answer questions that are not only querying visual content but knowledge-intensive and information-seeking. In this study, we introduce InfoSeek, a visual question answering dataset tailored for information-seeking questions that cannot be answered with only common sense knowledge. Using InfoSeek, we analyze various pre-trained visual question answering models and gain insights into their characteristics. Our findings reveal that state-of-the-art pre-trained multi-modal models (e.g., PaLI-X, BLIP2, etc.) face challenges in answering visual information-seeking questions, but fine-tuning on the InfoSeek dataset elicits models to use fine-grained knowledge that was learned during their pre-training. Furthermore, we show that accurate visual entity recognition can be used to improve performance on InfoSeek by retrieving relevant documents, showing a significant space for improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google