Unleashing the Potential of Large Language Model: Zero-shot VQA for Flood Disaster Scenario

要約

視覚的質問応答（VQA）は基本的かつ不可欠なAIタスクであり、VQAに基づく災害シナリオ理解はホットな研究テーマである。例えば、VQAモデルによって災害画像について質問することができ、その回答は、災害によって誰かまたは何かが影響を受けたかどうかを特定するのに役立つ。しかし、災害被害評価のためのこれまでのVQAモデルには、限られた回答候補空間、単調な質問タイプ、既存のモデルの限定された回答能力などの欠点がある。本論文では、ゼロショットVQAモデルであるZero-shot VQA for Flood Disaster Damage Assessment (ZFDDA)を提案する。ZFDDAは、事前学習を必要としないVQAモデルである。また、洪水災害を主な研究対象として、我々のVQAモデルを評価するために、フリースタイル洪水災害画像質問応答データセット（FFD-IQA）を構築する。この新しいデータセットでは、質問の種類を自由形式、多肢選択式、YES-NO質問に拡張している。同時に、以前のデータセットのサイズを拡大し、合計2,058の画像と22,422の質問とメタのグランドトゥルースのペアを含む。最も重要なことは、我々のモデルは、大規模な言語モデルの潜在能力を引き出すために、うまく設計された思考連鎖（CoT）デモを使用し、ゼロショットVQAが災害シナリオでより良い性能を示すことを可能にすることである。実験結果は、CoTプロンプトにより複雑な質問に対する回答精度が大幅に向上することを示している。本研究は、その後の他の災害シナリオに対するVQAの研究に研究基盤を提供するものである。

要約(オリジナル)

Visual question answering (VQA) is a fundamental and essential AI task, and VQA-based disaster scenario understanding is a hot research topic. For instance, we can ask questions about a disaster image by the VQA model and the answer can help identify whether anyone or anything is affected by the disaster. However, previous VQA models for disaster damage assessment have some shortcomings, such as limited candidate answer space, monotonous question types, and limited answering capability of existing models. In this paper, we propose a zero-shot VQA model named Zero-shot VQA for Flood Disaster Damage Assessment (ZFDDA). It is a VQA model for damage assessment without pre-training. Also, with flood disaster as the main research object, we build a Freestyle Flood Disaster Image Question Answering dataset (FFD-IQA) to evaluate our VQA model. This new dataset expands the question types to include free-form, multiple-choice, and yes-no questions. At the same time, we expand the size of the previous dataset to contain a total of 2,058 images and 22,422 question-meta ground truth pairs. Most importantly, our model uses well-designed chain of thought (CoT) demonstrations to unlock the potential of the large language model, allowing zero-shot VQA to show better performance in disaster scenarios. The experimental results show that the accuracy in answering complex questions is greatly improved with CoT prompts. Our study provides a research basis for subsequent research of VQA for other disaster scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL