A Simple Baseline for Knowledge-Based Visual Question Answering

要約

この文書は、Knowledge-Based Visual Question Answering (KB-VQA) の問題に関するものです。
最近の研究では、外部知識を必要とする質問に効果的に答えるために、明示的 (外部データベースを介した) 知識と暗黙的 (LLM を介した) 知識の両方を組み込むことの重要性が強調されています。
このようなアプローチの一般的な制限は、比較的複雑なパイプラインで構成されており、多くの場合 GPT-3 API へのアクセスに大きく依存していることです。
この論文における私たちの主な貢献は、はるかにシンプルで容易に再現可能なパイプラインを提案することです。パイプラインは、簡単に言えば、質問に役立つキャプションをコンテキスト情報として使用して LLaMA (1 および 2) を促すことによる効率的なコンテキスト内学習に基づいています。
最近のアプローチとは対照的に、私たちの方法はトレーニング不要で、外部データベースや API へのアクセスを必要とせず、それでも OK-VQA および A-OK-VQA データセットで最先端の精度を達成します。
最後に、私たちの方法の重要な側面を理解するために、いくつかのアブレーション研究を実行します。
私たちのコードは https://github.com/alexandrosXe/ASimple-Baseline-For-Knowledge-Based-VQA で公開されています。

要約(オリジナル)

This paper is on the problem of Knowledge-Based Visual Question Answering (KB-VQA). Recent works have emphasized the significance of incorporating both explicit (through external databases) and implicit (through LLMs) knowledge to answer questions requiring external knowledge effectively. A common limitation of such approaches is that they consist of relatively complicated pipelines and often heavily rely on accessing GPT-3 API. Our main contribution in this paper is to propose a much simpler and readily reproducible pipeline which, in a nutshell, is based on efficient in-context learning by prompting LLaMA (1 and 2) using question-informative captions as contextual information. Contrary to recent approaches, our method is training-free, does not require access to external databases or APIs, and yet achieves state-of-the-art accuracy on the OK-VQA and A-OK-VQA datasets. Finally, we perform several ablation studies to understand important aspects of our method. Our code is publicly available at https://github.com/alexandrosXe/ASimple-Baseline-For-Knowledge-Based-VQA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google