Kosmos-2.5: A Multimodal Literate Model

要約

私たちは、テキスト中心の画像を機械で読み取るためのマルチモーダル読み書きモデルである Kosmos-2.5 を紹介します。
大規模なテキストを多用した画像で事前トレーニングされた Kosmos-2.5 は、次の 2 つの異なる、しかも協調的な転写タスクに優れています。(1) 空間認識テキスト ブロックの生成。テキストの各ブロックには画像内の空間座標が割り当てられます。
2) スタイルと構造をマークダウン形式に取り込む構造化テキスト出力を生成します。
この統合されたマルチモーダルな読み書き機能は、共有の Transformer アーキテクチャ、タスク固有のプロンプト、および柔軟なテキスト表現を通じて実現されます。
エンドツーエンドのドキュメントレベルのテキスト認識と画像からマークダウンへのテキスト生成に関して Kosmos-2.5 を評価します。
さらに、このモデルは、教師付き微調整を通じて、さまざまなプロンプトを使用してテキストを多用する画像理解タスクに容易に適合させることができ、テキストが豊富な画像を含む現実世界のアプリケーション用の汎用ツールになります。
この取り組みは、マルチモーダル大規模言語モデルの将来のスケーリングへの道も切り開きます。

要約(オリジナル)

We present Kosmos-2.5, a multimodal literate model for machine reading of text-intensive images. Pre-trained on large-scale text-intensive images, Kosmos-2.5 excels in two distinct yet cooperative transcription tasks: (1) generating spatially-aware text blocks, where each block of text is assigned its spatial coordinates within the image, and (2) producing structured text output that captures styles and structures into the markdown format. This unified multimodal literate capability is achieved through a shared Transformer architecture, task-specific prompts, and flexible text representations. We evaluate Kosmos-2.5 on end-to-end document-level text recognition and image-to-markdown text generation. Furthermore, the model can be readily adapted for any text-intensive image understanding task with different prompts through supervised fine-tuning, making it a general-purpose tool for real-world applications involving text-rich images. This work also paves the way for the future scaling of multimodal large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google