SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

要約

エンドツーエンドのドキュメント変換をターゲットにした超コンパクトビジョン言語モデルであるSmoldoclingを紹介します。
私たちのモデルは、場所との完全なコンテキストですべてのページ要素をキャプチャする新しいユニバーサルマークアップ形式であるDoctagsを生成することにより、ページ全体を包括的に処理します。
大規模な基礎モデル、または複数の特殊なモデルの手作りパイプラインに依存するアンサンブルソリューションに依存する既存のアプローチとは異なり、Smoldoclingは、256mパラメーターの視覚障害モデルでドキュメント要素のコンテンツ、構造、空間位置を正確にキャプチャするためのエンドツーエンド変換を提供します。
Smoldoclingは、コードリスト、表、方程式、チャート、リストなど、ビジネスドキュメント、学術論文、技術レポート、特許、フォームなどの多様なドキュメントタイプなど、コードリスト、表、方程式、チャート、リストなどのドキュメント機能を正しく再現することで、堅牢なパフォーマンスを示します。
さらに、チャート、表、方程式、およびコード認識の新しい公開データセットを提供します。
実験結果は、Smoldoclingが計算要件を大幅に削減しながら、サイズが最大27倍大きい他のビジョン言語モデルと競合することを示しています。
モデルは現在利用可能です。データセットはまもなく公開されます。

要約(オリジナル)

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms — significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google