All Languages Matter: Evaluating LMMs on Culturally Diverse 100 Languages

要約

既存の大規模なマルチモーダルモデル（LMM）は、一般に、いくつかの地域と言語のみに焦点を当てています。
LMMが改善し続けるにつれて、対応する視覚キューを効果的に統合しながら、文化的文脈を理解し、地元の感受性を尊重し、低リソース言語をサポートすることがますます重要になっています。
文化的に多様なグローバルマルチモーダルモデルを追求するために、提案されているすべての言語問題ベンチマーク（ALMベンチ）は、100の言語でLMMを評価するための最大かつ最も包括的な取り組みを表しています。
ALMベンチは、LMM研究で伝統的に過小評価されている多くの低リソース言語を含む、さまざまな言語のテキストと組み合わせた文化的に多様な画像について理解し、推論する能力をテストすることにより、既存のモデルに挑戦します。
ベンチマークは、True/False、多肢選択、オープンエンドの質問を含むさまざまな質問形式を備えた堅牢で微妙な評価フレームワークを提供します。
ALMベンチ設計により、視覚的および言語的推論において、さまざまなレベルの難易度を処理するモデルの能力の包括的な評価が保証されます。
グローバルな文化の豊かなタペストリーを捉えるために、ALMベンチは、伝統や儀式から有名な人格やお祝いに至るまで、13の異なる文化的側面からコンテンツを慎重にキュレーションします。
これを通じて、ALMベンチは、最先端のオープンおよびクローズドソースLMMの厳密なテスト場を提供するだけでなく、文化的および言語的包括性の重要性を強調し、多様な世界集団に効果的に役立つモデルの開発を促進します。
私たちのベンチマークは公開されています。

要約(オリジナル)

Existing Large Multimodal Models (LMMs) generally focus on only a few regions and languages. As LMMs continue to improve, it is increasingly important to ensure they understand cultural contexts, respect local sensitivities, and support low-resource languages, all while effectively integrating corresponding visual cues. In pursuit of culturally diverse global multimodal models, our proposed All Languages Matter Benchmark (ALM-bench) represents the largest and most comprehensive effort to date for evaluating LMMs across 100 languages. ALM-bench challenges existing models by testing their ability to understand and reason about culturally diverse images paired with text in various languages, including many low-resource languages traditionally underrepresented in LMM research. The benchmark offers a robust and nuanced evaluation framework featuring various question formats, including true/false, multiple choice, and open-ended questions, which are further divided into short and long-answer categories. ALM-bench design ensures a comprehensive assessment of a model’s ability to handle varied levels of difficulty in visual and linguistic reasoning. To capture the rich tapestry of global cultures, ALM-bench carefully curates content from 13 distinct cultural aspects, ranging from traditions and rituals to famous personalities and celebrations. Through this, ALM-bench not only provides a rigorous testing ground for state-of-the-art open and closed-source LMMs but also highlights the importance of cultural and linguistic inclusivity, encouraging the development of models that can serve diverse global populations effectively. Our benchmark is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google