DocParseNet: Advanced Semantic Segmentation and OCR Embeddings for Efficient Scanned Document Annotation

要約

スキャンされたドキュメントの注釈を自動化することは困難であり、計算効率と精度のバランスが必要です。
DocParseNet は、深層学習とマルチモーダル学習を組み合わせてテキスト データとビジュアル データの両方を処理することでこの問題に対処します。
このモデルは、従来の OCR やセマンティック セグメンテーションを超え、テキストと画像の間の相互作用を捉えて、複雑な文書構造における文脈上のニュアンスを保持します。
私たちの評価では、DocParseNet が従来のモデルを大幅に上回っており、検証で 49.12、テスト セットで 49.78 の mIoU スコアを達成していることが示されています。
これは、最先端のベースライン モデルと比較して 58% の精度向上、UNext ベースラインと比較して 18% の向上を反映しています。
注目すべきことに、DocParseNet はわずか 280 万個のパラメータでこれらの結果を達成し、他のモデルと比較してモデル サイズを約 25 倍削減し、トレーニングを 5 倍高速化します。
これらのメトリクスは、0.034 TFLOP (BS=1) の計算効率と相まって、ドキュメント アノテーションにおける DocParseNet の高いパフォーマンスを強調しています。
このモデルの適応性と拡張性により、実際の企業文書処理アプリケーションに最適です。
コードは https://github.com/ahmad-shirazi/DocParseNet で入手できます。

要約(オリジナル)

Automating the annotation of scanned documents is challenging, requiring a balance between computational efficiency and accuracy. DocParseNet addresses this by combining deep learning and multi-modal learning to process both text and visual data. This model goes beyond traditional OCR and semantic segmentation, capturing the interplay between text and images to preserve contextual nuances in complex document structures. Our evaluations show that DocParseNet significantly outperforms conventional models, achieving mIoU scores of 49.12 on validation and 49.78 on the test set. This reflects a 58% accuracy improvement over state-of-the-art baseline models and an 18% gain compared to the UNext baseline. Remarkably, DocParseNet achieves these results with only 2.8 million parameters, reducing the model size by approximately 25 times and speeding up training by 5 times compared to other models. These metrics, coupled with a computational efficiency of 0.034 TFLOPs (BS=1), highlight DocParseNet’s high performance in document annotation. The model’s adaptability and scalability make it well-suited for real-world corporate document processing applications. The code is available at https://github.com/ahmad-shirazi/DocParseNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google