Are Bigger Encoders Always Better in Vision Large Models?

要約

近年、マルチモーダル大規模言語モデル（MLLM）は、実世界での応用において強い可能性を示している。MLLMは、マルチモーダルな情報を理解する顕著な能力と、それ固有の強力な認知・推論能力により、急速に発展している。MLLMの中でも、視覚言語モデル（VLM）は視覚情報を理解する能力で際立っている。しかし、現在の主流パラダイムの下でのVLMのスケーリング傾向は、広く研究されていない。さらに大きなモデルを学習させることで、より良い性能を達成できるかどうかはまだ不明である。この問題を解決するために、我々はMLLMの事前学習段階に関する実験を行った。異なるエンコーダサイズと大規模言語モデル（LLM）サイズを用いて実験を行った。その結果、単にエンコーダのサイズを大きくするだけではVLMの性能は必ずしも向上しないことがわかった。さらに、LLMのバックボーンのパラメータサイズとデータの品質が事前学習の結果に与える影響を分析した。さらに、LLMとVLMのスケーリング則の違いを調べた。

要約(オリジナル)

In recent years, multimodal large language models (MLLMs) have shown strong potential in real-world applications. They are developing rapidly due to their remarkable ability to comprehend multimodal information and their inherent powerful cognitive and reasoning capabilities. Among MLLMs, vision language models (VLM) stand out for their ability to understand vision information. However, the scaling trend of VLMs under the current mainstream paradigm has not been extensively studied. Whether we can achieve better performance by training even larger models is still unclear. To address this issue, we conducted experiments on the pretraining stage of MLLMs. We conduct our experiment using different encoder sizes and large language model (LLM) sizes. Our findings indicate that merely increasing the size of encoders does not necessarily enhance the performance of VLMs. Moreover, we analyzed the effects of LLM backbone parameter size and data quality on the pretraining outcomes. Additionally, we explored the differences in scaling laws between LLMs and VLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL