BigDocs: An Open Dataset for Training Multimodal Models on Document and Code Tasks

要約

マルチモーダルAIには、領収書の処理、ワークフローの理解、ドキュメントからのデータの抽出、レポートの要約など、ドキュメント理解タスクを大幅に強化する可能性があります。
長期にわたる出力を必要とするコード生成タスクも、マルチモダリティによって強化できます。
それにもかかわらず、トレーニングデータへのアクセスが制限されているため、オープンアクセスを妨げる制限的なライセンスへのアクセスが制限されているため、商用アプリケーションでの使用はしばしば制限されています。
これらの制限に対処するために、30のタスクにわたって750万のマルチモーダルドキュメントで構成される高品質のオープンアクセスデータセットであるBigDocs-7.5Mを導入します。
効率的なデータキュレーションプロセスを使用して、データが高品質でライセンスが守られていることを確認します。
私たちのプロセスは、フィルタリングルール、追跡可能なメタデータ、および慎重なコンテンツ分析を通じて、説明責任、責任、および透明性を強調しています。
さらに、10の新しいタスクを備えたベンチマークスイートであるBigDocs-Benchを紹介します。このタスクでは、グラフィカルユーザーインターフェイス（GUI）と画像からのコード生成を介した推論を含む実際のユースケースを反映するデータセットを作成します。
私たちの実験では、BigDocs-Benchでのトレーニングにより、ドキュメントの推論とScreenshot2HTMLやImage2Latex生成などの構造化された出力タスクで、クローズドソースGPT-4Oよりも最大25.8％の平均パフォーマンスが向上することが示されています。
最後に、人間の評価では、GPT-4oを超えるBigDocsでトレーニングされたモデルからの出力の好みが示されました。
これは、BigDocsが学者とオープンソースコミュニティの両方がAIツールを活用および改善して、マルチモーダル機能を強化し、推論を文書化するのに役立つことを示唆しています。
このプロジェクトは、https：//bigdocs.github.ioでホストされています。

要約(オリジナル)

Multimodal AI has the potential to significantly enhance document-understanding tasks, such as processing receipts, understanding workflows, extracting data from documents, and summarizing reports. Code generation tasks that require long-structured outputs can also be enhanced by multimodality. Despite this, their use in commercial applications is often limited due to limited access to training data and restrictive licensing, which hinders open access. To address these limitations, we introduce BigDocs-7.5M, a high-quality, open-access dataset comprising 7.5 million multimodal documents across 30 tasks. We use an efficient data curation process to ensure our data is high-quality and license-permissive. Our process emphasizes accountability, responsibility, and transparency through filtering rules, traceable metadata, and careful content analysis. Additionally, we introduce BigDocs-Bench, a benchmark suite with 10 novel tasks where we create datasets that reflect real-world use cases involving reasoning over Graphical User Interfaces (GUI) and code generation from images. Our experiments show that training with BigDocs-Bench improves average performance up to 25.8% over closed-source GPT-4o in document reasoning and structured output tasks such as Screenshot2HTML or Image2Latex generation. Finally, human evaluations showed a preference for outputs from models trained on BigDocs over GPT-4o. This suggests that BigDocs can help both academics and the open-source community utilize and improve AI tools to enhance multimodal capabilities and document reasoning. The project is hosted at https://bigdocs.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google