List Items One by One: A New Data Source and Learning Paradigm for Multimodal LLMs

要約

Set-of-Mark (SoM) プロンプトは、モデルが視覚オブジェクトを画像に挿入されたタグに関連付けることができるようにすることで、GPT-4V の視覚的基礎付け機能を解放します。
英数字でマークされたこれらのタグは、簡単に参照できるようにテキスト トークンを介してインデックスを作成できます。
GPT-4V の驚異的なパフォーマンスにもかかわらず、他のマルチモーダル大規模言語モデル (MLLM) はこれらの視覚タグを理解するのに苦労していることが観察されています。
オープンソース モデルの SoM プロンプトの学習を促進するために、「アイテムを 1 つずつリストする」という新しい学習パラダイムを提案します。これは、タグの英数字の順序に従って、画像上に配置されたすべての視覚タグを列挙して説明することをモデルに要求します。
厳選されたデータセットを他の視覚的指示調整データセットと統合することで、既存の MLLM に SoM プロンプト機能を装備することができます。
さらに、5 つの MLLM ベンチマークで微調整された SoM モデルを評価します。
この新しいデータセットは、比較的小さいサイズ (タグ付きの 10,000 ～ 30,000 の画像) であっても、視覚的推論能力を大幅に強化し、MLLM の幻覚を軽減することがわかりました。
おそらく驚くべきことに、これらの改善は、推論中に入力画像から視覚タグが省略された場合でも持続します。
これは、MLLM をトレーニングするための新しいパラダイムとして「項目を 1 つずつリストする」という可能性を示唆しており、トレーニング段階で視覚的なタグを使用することでオブジェクトとテキストの整合性が強化されます。
最後に、SoM の動作メカニズムを理解するために、トレーニング済みモデルを精査することによって分析を実行します。
コードとデータは \url{https://github.com/zzxslp/SoM-LLaVA} で入手できます。

要約(オリジナル)

Set-of-Mark (SoM) Prompting unleashes the visual grounding capability of GPT-4V, by enabling the model to associate visual objects with tags inserted on the image. These tags, marked with alphanumerics, can be indexed via text tokens for easy reference. Despite the extraordinary performance from GPT-4V, we observe that other Multimodal Large Language Models (MLLMs) struggle to understand these visual tags. To promote the learning of SoM prompting for open-source models, we propose a new learning paradigm: ‘list items one by one,’ which asks the model to enumerate and describe all visual tags placed on the image following the alphanumeric orders of tags. By integrating our curated dataset with other visual instruction tuning datasets, we are able to equip existing MLLMs with the SoM prompting ability. Furthermore, we evaluate our finetuned SoM models on five MLLM benchmarks. We find that this new dataset, even in a relatively small size (10k-30k images with tags), significantly enhances visual reasoning capabilities and reduces hallucinations for MLLMs. Perhaps surprisingly, these improvements persist even when the visual tags are omitted from input images during inference. This suggests the potential of ‘list items one by one’ as a new paradigm for training MLLMs, which strengthens the object-text alignment through the use of visual tags in the training stage. Finally, we conduct analyses by probing trained models to understand the working mechanism of SoM. Our code and data are available at \url{https://github.com/zzxslp/SoM-LLaVA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google