Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

要約

大規模言語視覚モデル (LLVM) の急速な開発は、視覚的命令のチューニングの進歩によって促進されています。
最近、オープンソース LLVM は、強力なクローズドソース LLVM とのパフォーマンスのギャップを狭めるために、高品質のビジュアル命令チューニング データセットを厳選し、追加のビジョン エンコーダまたは複数のコンピュータ ビジョン モデルを利用しています。
これらの進歩は、基本的なイメージの理解、常識的で非対象的な概念 (チャート、図、記号、記号、数学の問題など) に関する現実世界の知識、およびステップバイなど、多様な能力に必要な多面的な情報に起因すると考えられます。
-複雑な質問を解決するためのステップ手順。
多面的な情報から得た、新しい効率的な LLVM、Mamba ベースの論理的根拠の探索 (Meteor) を紹介します。これは、多面的な論理的根拠を活用して理解力と回答能力を強化します。
豊富な情報を含む長い根拠を埋め込むために、線形時間計算量でシーケンシャル データを処理できる Mamba アーキテクチャを採用しています。
根拠の効率的な埋め込みを容易にする根拠のトラバースという新しい概念を導入します。
その後、バックボーンのマルチモーダル言語モデル (MLM) がトレーニングされ、理論的根拠に基づいて回答を生成します。
これらのステップを通じて、Meteor は、モデル サイズを拡大したり、追加のビジョン エンコーダやコンピュータ ビジョン モデルを採用したりすることなく、多様な機能を必要とする複数の評価ベンチマーク全体でビジョン言語のパフォーマンスの大幅な向上を達成します。

要約(オリジナル)

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google