Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model

要約

現在の大規模マルチモーダル モデル (LMM) のほとんどは、すでに自然の風景やポートレートの写真を理解できますが、チャート、地図、レイアウトなどの抽象的な画像の理解や、視覚的推論機能は依然として非常に初歩的です。
彼らは、時計から時間を読み取る、フローチャートを理解する、道路地図を使用してルートを計画するなど、日常の単純な作業に苦労することがよくあります。
これを考慮して、大規模な言語モデルとそのコード機能を利用して、日常のシナリオ全体にわたって大量の抽象的な画像と視覚的な推論命令を合成する、マルチモーダルな自己命令を設計します。
私たちの戦略は、チャート、テーブル、シミュレートされたマップ、ダッシュボード、フローチャート、関係グラフ、フロアプラン、ビジュアルパズルなどの 8 つのビジュアルシナリオに対する 11,193 の命令を含むマルチモーダルベンチマークを簡単に作成します。
\textbf{単純な線と幾何学的要素で構築されたこのベンチマークは、抽象的な画像の理解、空間関係の推論、および視覚要素の誘導において、Claude-3.5-Sonnet や GPT-4o のような最先端の LMM の欠点を明らかにしています。
さらに、合成データの品質を検証するために、62,476 の合成チャート、テーブル、ロードマップ命令を使用して LMM を微調整します。
この結果は、チャートの理解とマップ ナビゲーションのパフォーマンスの向上を示し、また、他の視覚的推論タスクに対する潜在的な利点も示しています。
コードは \url{https://github.com/zwq2018/Multi-modal-Self-instruct} から入手できます。

要約(オリジナル)

Although most current large multimodal models (LMMs) can already understand photos of natural scenes and portraits, their understanding of abstract images, e.g., charts, maps, or layouts, and visual reasoning capabilities remains quite rudimentary. They often struggle with simple daily tasks, such as reading time from a clock, understanding a flowchart, or planning a route using a road map. In light of this, we design a multi-modal self-instruct, utilizing large language models and their code capabilities to synthesize massive abstract images and visual reasoning instructions across daily scenarios. Our strategy effortlessly creates a multimodal benchmark with 11,193 instructions for eight visual scenarios: charts, tables, simulated maps, dashboards, flowcharts, relation graphs, floor plans, and visual puzzles. \textbf{This benchmark, constructed with simple lines and geometric elements, exposes the shortcomings of most advanced LMMs} like Claude-3.5-Sonnet and GPT-4o in abstract image understanding, spatial relations reasoning, and visual element induction. Besides, to verify the quality of our synthetic data, we fine-tune an LMM using 62,476 synthetic chart, table and road map instructions. The results demonstrate improved chart understanding and map navigation performance, and also demonstrate potential benefits for other visual reasoning tasks. Our code is available at: \url{https://github.com/zwq2018/Multi-modal-Self-instruct}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google