An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA

要約

知識ベースの視覚的質問応答 (VQA) には、画像には存在しない外部知識を必要とする質問への回答が含まれます。
既存の方法は、最初に外部リソースから知識を取得し、次に、選択された知識、入力画像、および回答予測のための質問について推論します。
ただし、この 2 段階のアプローチは、VQA のパフォーマンスを潜在的に制限するミスマッチにつながる可能性があります。
たとえば、取得された知識はノイズが多く、質問とは無関係である可能性があり、推論中に再埋め込まれた知識の特徴は、知識ベース (KB) の元の意味から逸脱する可能性があります。
この課題に対処するために、ナレッジベースの VQA のために、画像キャプションを使用して GPT3 をプロンプトするシンプルで効果的な方法である PICa を提案します。
以前の研究のように構造化された KB を使用する代わりに、知識検索と質問応答における GPT-3 の力に触発され、GPT-3 を、関連する知識を共同で取得して処理できる暗黙的で構造化されていない KB として扱います。
具体的には、まず画像を GPT-3 が理解できるキャプション (またはタグ) に変換し、次に GPT-3 を適応させて、コンテキスト内の VQA の例をいくつか提供するだけで、VQA タスクを簡単に解決できるようにします。
(i) どのテキスト形式が画像コンテンツを最もよく表しているか、(ii) コンテキスト内の例をより適切に選択して使用するにはどうすればよいかを慎重に調査することで、パフォーマンスをさらに向上させます。
PICa は、マルチモーダル タスクに対する GPT-3 の最初の使用のロックを解除します。
16 例のみを使用することで、PICa は、OK-VQA データセットで絶対 +8.6 ポイントだけ、監視された最新技術を上回ります。
また、VQAv2 で PICa のベンチマークを行ったところ、PICa もまともな数ショット パフォーマンスを示しました。

要約(オリジナル)

Knowledge-based visual question answering (VQA) involves answering questions that require external knowledge not present in the image. Existing methods first retrieve knowledge from external resources, then reason over the selected knowledge, the input image, and question for answer prediction. However, this two-step approach could lead to mismatches that potentially limit the VQA performance. For example, the retrieved knowledge might be noisy and irrelevant to the question, and the re-embedded knowledge features during reasoning might deviate from their original meanings in the knowledge base (KB). To address this challenge, we propose PICa, a simple yet effective method that Prompts GPT3 via the use of Image Captions, for knowledge-based VQA. Inspired by GPT-3’s power in knowledge retrieval and question answering, instead of using structured KBs as in previous work, we treat GPT-3 as an implicit and unstructured KB that can jointly acquire and process relevant knowledge. Specifically, we first convert the image into captions (or tags) that GPT-3 can understand, then adapt GPT-3 to solve the VQA task in a few-shot manner by just providing a few in-context VQA examples. We further boost performance by carefully investigating: (i) what text formats best describe the image content, and (ii) how in-context examples can be better selected and used. PICa unlocks the first use of GPT-3 for multimodal tasks. By using only 16 examples, PICa surpasses the supervised state of the art by an absolute +8.6 points on the OK-VQA dataset. We also benchmark PICa on VQAv2, where PICa also shows a decent few-shot performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google