InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composition

要約

私たちは、高度な画像テキストの理解と構成を可能にするビジョン言語の大規模モデルである InternLM-XComposer を提案します。
私たちのモデルの革新的な性質は、次の 3 つの魅力的な特性によって強調されています。 1) インターリーブされたテキストと画像の構成: InternLM-XComposer は、画像をシームレスに統合する一貫性のある文脈に沿った記事を簡単に生成でき、より魅力的で没入型の読書体験を提供します。
執筆指示を提供するだけで、当社のシステムが対応する原稿を生成します。
画像によってコンテンツが強調されるテキスト内の領域をインテリジェントに識別し、最も適切な視覚的な候補を自動的に挿入します。
2) 豊富な多言語知識による理解: テキストと画像の理解は、慎重に作成された戦略を備えた広範なマルチモーダル多言語データベースでのトレーニングによって強化され、結果として視覚的なコンテンツを深く理解できます。
3) 最先端のパフォーマンス: 当社のモデルは、MME Benchmark、MMBench、MMBench-CN、Seed-Bench、CCBench (
中国文化ベンチマーク）、QBench、Tiny LVLM。
テキストと画像の構成を定量的に評価するための確立された指標が存在しないため、信頼性を確保するために人間と GPT4-Vision (GPT4-V) の両方を含む堅牢な評価手順を考案しました。
特に、当社の InternLM-XComposer は、GPT4-V や GPT3.5 などの公開ソリューションと比較して、競争力のあるテキスト画像合成スコアを達成しています。
InternLM-XComposer は、高度なテキストと画像の理解と構成をシームレスに融合させ、視覚と言語のインタラクションに革命をもたらし、新しい洞察と機会を提供します。
InternLM-XComposer モデル シリーズは、https://github.com/InternLM/InternLM-XComposer で公開されています。

要約(オリジナル)

We propose InternLM-XComposer, a vision-language large model that enables advanced image-text comprehension and composition. The innovative nature of our model is highlighted by three appealing properties: 1) Interleaved Text-Image Composition: InternLM-XComposer can effortlessly generate coherent and contextual articles that seamlessly integrate images, providing a more engaging and immersive reading experience. Simply provide a writing instruction, and our system will generate the corresponding manuscript. It can intelligently identify the areas in the text where images would enhance the content and automatically insert the most appropriate visual candidates. 2) Comprehension with Rich Multilingual Knowledge: The text-image comprehension is empowered by training on an extensive multi-modal multilingual database with carefully crafted strategies, resulting in a deep understanding of visual content. 3) State-of-the-art Performance: Our model consistently achieves state-of-the-art results across various mainstream benchmarks for vision-language foundational models, including MME Benchmark, MMBench, MMBench-CN, Seed-Bench, CCBench (Chinese Cultural Benchmark), QBench and Tiny LVLM. Owing to the absence of established metrics for quantitatively assessing text-image composition, we have devised a robust evaluation procedure that comprises both human and GPT4-Vision (GPT4-V) to ensure reliability. Notably, our InternLM-XComposer achieves competitive text-image composition scores compared to public solutions, including GPT4-V and GPT3.5. Collectively, InternLM-XComposer seamlessly blends advanced text-image comprehension and composition, revolutionizing vision-language interaction and offering new insights and opportunities. The InternLM-XComposer model series are publicly available at https://github.com/InternLM/InternLM-XComposer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google