StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data

要約

OpenAI の GPT-4 によって実証された注目すべきマルチモーダル機能は、マルチモーダル大規模言語モデル (LLM) の開発に対する大きな関心を引き起こしました。
このようなモデルの主な研究目的は、人間の指示を理解しながら、視覚的モダリティとテキストモダリティを効果的に調整することです。
現在の方法論では、ベンチマーク データセットから得られたアノテーションに依存して、LLM の命令チューニングに似たトレーニング目的の画像対話データセットを構築することがよくあります。
ただし、これらのデータセットはドメイン バイアスを示すことが多く、モデルの生成機能が制約される可能性があります。
これらの制限を軽減するために、私たちは、視覚的な指示を調整するために画像と対話を同期的に合成する新しいデータ収集方法論を提案します。
このアプローチは、生成モデルの力を利用し、ChatGPT とテキストから画像への生成モデルの機能を組み合わせて、さまざまな画像コンテンツを含む多様で制御可能なデータセットを生成します。
さらに、データセットは任意にスケーリングできます。
これにより、既存の方法論と比較して柔軟性が向上するだけでなく、いくつかのモデルの機能も大幅に強化されます。
私たちの研究には、さまざまなデータセットに対して行われた包括的な実験が含まれています。
その結果、一般的に評価された 10 を超える機能が大幅に強化されたことが強調されています。
さらに、当社のモデルは、広く認知されている複数のマルチモーダル ベンチマークにわたって最先端の結果を達成しています。

要約(オリジナル)

The remarkable multimodal capabilities demonstrated by OpenAI’s GPT-4 have sparked significant interest in the development of multimodal Large Language Models (LLMs). A primary research objective of such models is to align visual and textual modalities effectively while comprehending human instructions. Current methodologies often rely on annotations derived from benchmark datasets to construct image-dialogue datasets for training purposes, akin to instruction tuning in LLMs. However, these datasets often exhibit domain bias, potentially constraining the generative capabilities of the models. In an effort to mitigate these limitations, we propose a novel data collection methodology that synchronously synthesizes images and dialogues for visual instruction tuning. This approach harnesses the power of generative models, marrying the abilities of ChatGPT and text-to-image generative models to yield a diverse and controllable dataset with varied image content. Additionally, datasets can be arbitrarily scaled. This not only provides greater flexibility compared to existing methodologies but also significantly enhances several model capabilities. Our research includes comprehensive experiments conducted on various datasets. The results emphasize substantial enhancements in more than ten commonly assessed capabilities. Additionally, our model achieves state-of-the-art results across multiple widely recognized multimodal benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google