Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

要約

我々は、生成ビジョン基盤モデルである Florence-2 によって生成された豊富な視覚表現を備えた、マルチモーダル大規模言語モデル (MLLM) の新しいファミリーである Florence-VL を紹介します。
広く使用されている、対照学習によって訓練された CLIP スタイルの視覚変換器とは異なり、Florence-2 は、視覚的特徴のさまざまなレベルと側面をキャプチャでき、さまざまな下流タスクに適応できる汎用性が高くなります。
私たちは、Florence-2 の視覚的特徴を Phi 3.5 や LLama 3 などの事前トレーニング済み LLM に効果的に統合する、新しい特徴融合アーキテクチャと革新的なトレーニング レシピを提案します。特に、深呼吸融合 (DBFusion) を提案します。
さまざまな深さから複数のプロンプトの下で抽出された視覚的特徴。
私たちのモデル トレーニングは、高品質の画像キャプションと命令チューニングのペアを含む多様なオープンソース データセットの慎重に設計されたレシピに基づいて、モデル全体のエンドツーエンドの事前トレーニングとそれに続く投影レイヤーと LLM の微調整で構成されます。
。
Florence-VL の視覚的特徴の定量的分析と視覚化は、豊かな奥行きと息づかいが重要な役割を果たす視覚と言語の整合性において、一般的なビジョン エンコーダよりも優れていることを示しています。
Florence-VL は、一般的な VQA、知覚、幻覚、OCR、チャート、知識集約的な理解などをカバーするさまざまなマルチモーダルおよび視覚中心のベンチマークにわたって、既存の最先端の MLLM に対して大幅な改善を達成しています。将来の研究を促進するために、
私たちのモデルと完全なトレーニング レシピはオープンソースです。
https://github.com/JiuhaiChen/Florence-VL

要約(オリジナル)

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2’s visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose ‘depth-breath fusion (DBFusion)’ to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL’s visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google