MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models

要約

【タイトル】MiniGPT-4：大規模言語モデルを用いたビジョン・ラングエージ理解の向上

【要約】
– GPT-4は、手書きテキストから直接ウェブサイトを生成することや、画像内のユーモラスな要素を識別することなど、非常に高度なマルチモーダル機能を備えており、これらは従来のビジョン・ラングエージ・モデルではほとんど観察されなかった。
– GPT-4の高度なマルチモード生成能力の主な要因は、より高度な大規模言語モデル(LLM)の利用であると考えられる。
– この現象を調べるために、 MiniGPT-4を提供し、凍結された視覚エンコーダと凍結されたLLM、Vicunaを、ただ1つの投影層を使用して整列させる。
– 実験の結果、MiniGPT-4は、GPT-4と同様の、詳細な画像の説明生成、手書きの下書きからのウェブサイトの生成などの多くの能力を持っていることがわかった。さらに、与えられた画像からストーリーや詩を書いたり、画像内に示された問題の解決策を提供する能力、食べ物の写真に基づいてユーザーに料理の手順を教える能力などが現れている。
– ただし、生の画像テキストペアでの事前トレーニングのみでは、繰り返しや断片的な文の欠如など、一貫性に欠ける不自然な言語出力が得られることがわかった。この問題に対処するために、第2段階で高品質で整列したデータセットを作成し、会話テンプレートを使用してモデルを微調整する必要があった。この手順は、モデルの生成信頼性と全体的な使いやすさを向上させる上で重要であった。
– なお、このモデルは計算効率が非常に高く、約500万の整列した画像テキストペアを使用してプロジェクション層のみをトレーニングしている。
– コード、事前学習モデル、収集したデータセットはすべて、https://minigpt-4.github.io/で入手可能である。

要約(オリジナル)

The recent GPT-4 has demonstrated extraordinary multi-modal abilities, such as directly generating websites from handwritten text and identifying humorous elements within images. These features are rarely observed in previous vision-language models. We believe the primary reason for GPT-4’s advanced multi-modal generation capabilities lies in the utilization of a more advanced large language model (LLM). To examine this phenomenon, we present MiniGPT-4, which aligns a frozen visual encoder with a frozen LLM, Vicuna, using just one projection layer. Our findings reveal that MiniGPT-4 possesses many capabilities similar to those exhibited by GPT-4 like detailed image description generation and website creation from hand-written drafts. Furthermore, we also observe other emerging capabilities in MiniGPT-4, including writing stories and poems inspired by given images, providing solutions to problems shown in images, teaching users how to cook based on food photos, etc. In our experiment, we found that only performing the pretraining on raw image-text pairs could produce unnatural language outputs that lack coherency including repetition and fragmented sentences. To address this problem, we curate a high-quality, well-aligned dataset in the second stage to finetune our model using a conversational template. This step proved crucial for augmenting the model’s generation reliability and overall usability. Notably, our model is highly computationally efficient, as we only train a projection layer utilizing approximately 5 million aligned image-text pairs. Our code, pre-trained model, and collected dataset are available at https://minigpt-4.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI