SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs

要約

マルチモーダル大規模言語モデル (MLLM) は、最近、顕著な知覚能力と推論能力を実証しました。通常、ビジョン エンコーダー、アダプター、および大規模言語モデル (LLM) で構成されます。
アダプターは、ビジュアルコンポーネントと言語コンポーネントの間の重要なブリッジとして機能します。
ただし、イメージレベルの監視を使用してアダプターをトレーニングすると、多くの場合、重大な不整合が発生し、LLM の機能が損なわれ、マルチモーダル LLM の可能性が制限されます。
これに対処するために、CLIP などのビジョン言語の事前トレーニング済みモデルを活用し、対比学習を通じてビジュアル トークンを LLM の埋め込み空間に位置合わせするトークン レベルの位置合わせ方法である教師あり埋め込みアライメント (SEA) を導入します。
このアプローチにより、視覚表現と言語表現のより一貫した統合が保証され、マルチモーダル LLM の本来の機能を維持しながら、そのパフォーマンスと解釈可能性が向上します。
広範な実験により、SEA が余分なデータや推論計算を追加することなく、特に小規模なモデルの場合に MLLM を効果的に改善できることが示されています。
SEA はまた、マルチモーダル システムを強化するための、より一般的で適応性のあるソリューションを開発するための基礎も築きます。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) have recently demonstrated remarkable perceptual and reasoning abilities, typically comprising a Vision Encoder, an Adapter, and a Large Language Model (LLM). The adapter serves as the critical bridge between the visual and language components. However, training adapters with image-level supervision often results in significant misalignment, undermining the LLMs’ capabilities and limiting the potential of Multimodal LLMs. To address this, we introduce Supervised Embedding Alignment (SEA), a token-level alignment method that leverages vision-language pre-trained models, such as CLIP, to align visual tokens with the LLM’s embedding space through contrastive learning. This approach ensures a more coherent integration of visual and language representations, enhancing the performance and interpretability of multimodal LLMs while preserving their inherent capabilities. Extensive experiments show that SEA effectively improves MLLMs, particularly for smaller models, without adding extra data or inference computation. SEA also lays the groundwork for developing more general and adaptable solutions to enhance multimodal systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google