Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

要約

マルチモーダル大規模言語モデル (MLLM) の最近の進歩にもかかわらず、その開発は主に英語と西洋中心のデータセットとタスクに焦点を当てており、世界の言語のほとんどと多様な文化的背景は過小評価されています。
この論文では、39 言語にわたる多様な 6M 命令データセットである PangeaIns でトレーニングされた多言語マルチモーダル LLM である Pangea を紹介します。
PangeaIns の特徴: 1) 高品質の英語の指示、2) 注意深く機械翻訳された指示、3) 異文化を確実にカバーするための文化的に関連したマルチモーダルなタスク。
モデルの機能を厳密に評価するために、47 言語をカバーする 14 のデータセットを含む総合的な評価スイートである PangeaBench を導入します。
結果は、Pangea が多言語環境や多様な文化的背景において既存のオープンソース モデルよりも大幅に優れたパフォーマンスを発揮することを示しています。
アブレーション研究では、全体的なパフォーマンスに対する英語のデータの割合、言語の人気、マルチモーダル トレーニング サンプルの数の重要性がさらに明らかになりました。
当社はデータ、コード、トレーニングされたチェックポイントを完全にオープンソースにし、包括的で堅牢な多言語 MLLM の開発を促進し、より幅広い言語および文化の範囲にわたる公平性とアクセシビリティを促進します。

要約(オリジナル)

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world’s languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models’ capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google