Astrea: A MOE-based Visual Understanding Model with Progressive Alignment

要約

混合物（MOE）アーキテクチャに基づくビジョン言語モデル（VLM）は、マルチモーダル理解における重要なパラダイムとして浮上しており、視覚的情報と言語情報を統合するための強力なフレームワークを提供しています。
ただし、タスクの複雑さと多様性の増加は、不均一な視覚専門家全体で負荷分散を調整する上で重要な課題を提示します。そこでは、ある専門家のパフォーマンスを最適化することがしばしば他の能力を損ないます。
タスクの不均一性と専門家の負荷の不均衡に対処するために、進歩的な前整列に基づいた新しいマルチエクスポリットの共同VLMアーキテクチャであるAstreaを提案します。
Astreaは3つの重要な革新を導入します。1）4つの特殊なモデル（検出、セグメンテーション、分類、キャプション）を統合する不均一な専門家調整メカニズムは、本質的な視覚的理解要素をカバーする包括的な専門家マトリックスに統合します。
2）知識の継続性を維持するために確率的に活性化された確率的残留接続によって補完された、対照的な学習を通じてVLM潜在空間内の専門家を調和させるための進歩的な事前整列を特徴とする動的な知識融合戦略。
3）長距離依存性モデリングのための運動量対照学習とリアルタイムの専門家貢献キャリブレーションのための適応体重アロケーターを利用する強化された最適化フレームワーク。
VQA、画像キャプション、およびクロスモーダル検索にまたがる12のベンチマークタスクにわたる広範な評価は、最先端のモデルよりもアストラの優位性を示し、平均パフォーマンスゲインは+4.7 \％です。
この研究は、プログレッシブ前調整戦略によりVLMがタスクの不均一性の制限を克服できるようになり、汎用マルチモーダルエージェントを開発するための新しい方法論的基礎を確立できるという最初の経験的デモを提供します。

要約(オリジナル)

Vision-Language Models (VLMs) based on Mixture-of-Experts (MoE) architectures have emerged as a pivotal paradigm in multimodal understanding, offering a powerful framework for integrating visual and linguistic information. However, the increasing complexity and diversity of tasks present significant challenges in coordinating load balancing across heterogeneous visual experts, where optimizing one specialist’s performance often compromises others’ capabilities. To address task heterogeneity and expert load imbalance, we propose Astrea, a novel multi-expert collaborative VLM architecture based on progressive pre-alignment. Astrea introduces three key innovations: 1) A heterogeneous expert coordination mechanism that integrates four specialized models (detection, segmentation, classification, captioning) into a comprehensive expert matrix covering essential visual comprehension elements; 2) A dynamic knowledge fusion strategy featuring progressive pre-alignment to harmonize experts within the VLM latent space through contrastive learning, complemented by probabilistically activated stochastic residual connections to preserve knowledge continuity; 3) An enhanced optimization framework utilizing momentum contrastive learning for long-range dependency modeling and adaptive weight allocators for real-time expert contribution calibration. Extensive evaluations across 12 benchmark tasks spanning VQA, image captioning, and cross-modal retrieval demonstrate Astrea’s superiority over state-of-the-art models, achieving an average performance gain of +4.7\%. This study provides the first empirical demonstration that progressive pre-alignment strategies enable VLMs to overcome task heterogeneity limitations, establishing new methodological foundations for developing general-purpose multimodal agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google