Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks

要約

自然言語処理 (NLP) アプリケーションに革命をもたらした大規模言語モデル (LLM) は、マルチモーダル入力の領域に拡大しています。
マルチモーダル LLM (MLLM) は、画像を解釈する能力があるため、主に視覚言語タスクに使用されてきました。
現在、MLLM は、視覚情報をより明確に理解する必要があるドメイン固有の視覚タスクにはまだ拡張されていません。
私たちは、ドメイン固有の視覚および視覚言語データセットを Visual Question Answering struct (VQA-IN) と呼ばれる統一質問応答形式に変換する方法を開発しました。これにより、MLLM をドメイン固有のタスクに拡張できます。
VQA-IN は、LLM の小さいバージョン (sLLM) を使用して複数の MLLM アーキテクチャをトレーニングするために適用されました。
実験結果は、提案された方法が、マルチタスク方式の視覚言語タスクでのパフォーマンスを維持しながら、ドメイン固有の視覚タスクで高いスコア指標を達成したことを示しました。

要約(オリジナル)

Having revolutionized natural language processing (NLP) applications, large language models (LLMs) are expanding into the realm of multimodal inputs. Owing to their ability to interpret images, multimodal LLMs (MLLMs) have been primarily used for vision-language tasks. Currently, MLLMs have not yet been extended for domain-specific visual tasks, which require a more explicit understanding of visual information. We developed a method to transform domain-specific visual and vision-language datasets into a unified question answering format called Visual Question Answering Instruction (VQA-IN), thereby extending MLLM to domain-specific tasks. The VQA-IN was applied to train multiple MLLM architectures using smaller versions of LLMs (sLLMs). The experimental results indicated that the proposed method achieved a high score metric on domainspecific visual tasks while also maintaining its performance on vision-language tasks in a multitask manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google