MM-Instruct: Generated Visual Instructions for Large Multimodal Model Alignment

要約

この論文では、大規模マルチモーダル モデル (LMM) の命令追従機能を強化するために設計された、多様で高品質の視覚的命令データの大規模データセットである MM-Instruct について紹介します。
既存の視覚的指導データセットは質問応答に焦点を当てていることが多いですが、クリエイティブ ライティング、要約、画像分析などのより広範なアプリケーション シナリオに一般化するのに苦労しています。
これらの制限に対処するために、既存の LLM の強力な命令追従機能を活用して、大規模だが従来の画像キャプション データセットから新しい視覚命令データを生成する、MM-Instruct を構築する新しいアプローチを提案します。
MM-Instruct は、まず ChatGPT を利用して、拡張と要約を通じて小さなシード命令セットから多様な命令を自動的に生成します。
次に、これらの命令と画像を照合し、オープンソースの大規模言語モデル (LLM) を使用して、命令とイメージのペアに対する一貫した回答を生成します。
LLM は、回答生成プロセス全体における画像の詳細なテキスト記述によって基礎付けされ、指示データの位置合わせを保証します。
さらに、生成された命令データに基づいてベンチマークを導入し、既存の LMM の命令追従機能を評価します。
生成されたデータ上で LLaVA-1.5 モデル (LLaVA-Instruct と表記) をトレーニングすることにより、MM-Instruct の有効性を実証します。LLaVA-Instruct は、LLaVA-1.5 モデルと比較して命令追従機能が大幅に向上しています。
MM-Instruct データセット、ベンチマーク、および事前トレーニングされたモデルは、https://github.com/jihaonew/MM-Instruct で入手できます。

要約(オリジナル)

This paper introduces MM-Instruct, a large-scale dataset of diverse and high-quality visual instruction data designed to enhance the instruction-following capabilities of large multimodal models (LMMs). While existing visual instruction datasets often focus on question-answering, they struggle to generalize to broader application scenarios such as creative writing, summarization, or image analysis. To address these limitations, we propose a novel approach to constructing MM-Instruct that leverages the strong instruction-following capabilities of existing LLMs to generate novel visual instruction data from large-scale but conventional image captioning datasets. MM-Instruct first leverages ChatGPT to automatically generate diverse instructions from a small set of seed instructions through augmenting and summarization. It then matches these instructions with images and uses an open-sourced large language model (LLM) to generate coherent answers to the instruction-image pairs. The LLM is grounded by the detailed text descriptions of images in the whole answer generation process to guarantee the alignment of the instruction data. Moreover, we introduce a benchmark based on the generated instruction data to evaluate the instruction-following capabilities of existing LMMs. We demonstrate the effectiveness of MM-Instruct by training a LLaVA-1.5 model on the generated data, denoted as LLaVA-Instruct, which exhibits significant improvements in instruction-following capabilities compared to LLaVA-1.5 models. The MM-Instruct dataset, benchmark, and pre-trained models are available at https://github.com/jihaonew/MM-Instruct.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google