StrucTexTv3: An Efficient Vision-Language Model for Text-rich Image Perception, Comprehension, and Beyond

要約

テキストリッチな画像は、人間生活の様々な場面に深く溶け込み、重要かつ広範な価値を持つ。特に、テキストリッチ画像に含まれる視覚的手がかりと言語的シンボルは、情報伝達において重要な役割を果たしているが、様々な課題を伴っている。そのため、テキストリッチな画像を効率的かつ効果的に理解することは、視覚-言語モデルの能力を測る重要なリトマス試験紙となる。我々は、テキストリッチ画像に対する様々な知的タスクに取り組むために、効率的な視覚言語モデルStrucTexTv3を構築した。StrucTexTv3の重要な設計を以下の側面から紹介する：第一に、視覚トークン生成器として、効果的なマルチスケール縮小視覚変換器と多粒度トークン抽出器（MG-Sampler）の組み合わせを採用し、テキストリッチ画像に対する高解像度入力と複雑な表現学習の課題を解決することに成功した。第二に、指示学習を通してStrucTexTv3の知覚・理解能力を向上させ、様々なテキスト指向タスクをシームレスに統合し、統一的なフレームワークを実現した。第三に、TIM-30Mと略称される高品質なテキストリッチ画像の包括的なコレクションを作成し、付随的なシーン、オフィス文書、ウェブページ、スクリーンショットなどの多様なシナリオを網羅することで、モデルの頑健性を向上させた。本手法は、テキストリッチ画像知覚課題においてSOTAの結果を達成し、理解課題においても有意に性能を向上させた。約1.8Bのパラメータを持つLLMデコーダを持つマルチモーダルモデルの中で、リーダーとして際立っており、エッジデバイスの展開も実現可能である。まとめると、StrucTexTv3モデルは、効率的な構造設計、卓越した性能、および幅広い適応性を特徴とし、テキストリッチ画像を含む多様な知的応用タスクを強固にサポートするため、広範な応用の可能性を示している。

要約(オリジナル)

Text-rich images have significant and extensive value, deeply integrated into various aspects of human life. Notably, both visual cues and linguistic symbols in text-rich images play crucial roles in information transmission but are accompanied by diverse challenges. Therefore, the efficient and effective understanding of text-rich images is a crucial litmus test for the capability of Vision-Language Models. We have crafted an efficient vision-language model, StrucTexTv3, tailored to tackle various intelligent tasks for text-rich images. The significant design of StrucTexTv3 is presented in the following aspects: Firstly, we adopt a combination of an effective multi-scale reduced visual transformer and a multi-granularity token sampler (MG-Sampler) as a visual token generator, successfully solving the challenges of high-resolution input and complex representation learning for text-rich images. Secondly, we enhance the perception and comprehension abilities of StrucTexTv3 through instruction learning, seamlessly integrating various text-oriented tasks into a unified framework. Thirdly, we have curated a comprehensive collection of high-quality text-rich images, abbreviated as TIM-30M, encompassing diverse scenarios like incidental scenes, office documents, web pages, and screenshots, thereby improving the robustness of our model. Our method achieved SOTA results in text-rich image perception tasks, and significantly improved performance in comprehension tasks. Among multimodal models with LLM decoder of approximately 1.8B parameters, it stands out as a leader, which also makes the deployment of edge devices feasible. In summary, the StrucTexTv3 model, featuring efficient structural design, outstanding performance, and broad adaptability, offers robust support for diverse intelligent application tasks involving text-rich images, thus exhibiting immense potential for widespread application.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL