Scaling Laws for Native Multimodal Models

要約

マルチモーダル信号を通じて世界を効果的に知覚できる汎用モデルの構築は、長年の目標となっています。
現在のアプローチでは、VisionエンコーダーをLLMに接続したり、マルチモーダルトレーニングを継続するなど、事前に訓練されたコンポーネントを個別に統合することが含まれます。
そのようなアプローチは顕著なサンプル効率を示しますが、そのような延性アーキテクチャが本質的に優れているかどうかは未解決の問題のままです。
この作業では、ネイティブマルチモーダルモデル（NMMS）のアーキテクチャデザイン（すべてのモダリティでゼロから訓練された設計）を再訪し、さまざまなアーキテクチャとトレーニング混合物を備えた457の訓練されたモデルに及ぶ広範なスケーリング法の調査を実施します。
私たちの調査は、画像エンコーダーに依存していない早期融合アーキテクチャに対する延性アーキテクチャに対する固有の利点はないことを明らかにしています。
それどころか、より低いパラメーターカウントで早期融合を示すパフォーマンスはより強力であり、トレーニングがより効率的であり、展開しやすいです。
早期融合アーキテクチャの強力なパフォーマンスに動機付けられて、専門家（MOE）の混合物を組み込むことで、モダリティ固有の重みを学習するモデルが可能になり、パフォーマンスが大幅に向上することが示されます。

要約(オリジナル)

Building general-purpose models that can effectively perceive the world through multimodal signals has been a long-standing goal. Current approaches involve integrating separately pre-trained components, such as connecting vision encoders to LLMs and continuing multimodal training. While such approaches exhibit remarkable sample efficiency, it remains an open question whether such late-fusion architectures are inherently superior. In this work, we revisit the architectural design of native multimodal models (NMMs)–those trained from the ground up on all modalities–and conduct an extensive scaling laws study, spanning 457 trained models with different architectures and training mixtures. Our investigation reveals no inherent advantage to late-fusion architectures over early-fusion ones, which do not rely on image encoders. On the contrary, early-fusion exhibits stronger performance at lower parameter counts, is more efficient to train, and is easier to deploy. Motivated by the strong performance of the early-fusion architectures, we show that incorporating Mixture of Experts (MoEs) allows for models that learn modality-specific weights, significantly enhancing performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google