UniTable: Towards a Unified Framework for Table Recognition via Self-Supervised Pretraining

要約

テーブルは、人間が作成した暗黙の規則を使用して事実および定量的なデータを伝達しますが、機械にとっては解析が困難なことがよくあります。
テーブル認識 (TR) に関するこれまでの研究は、主に、利用可能な入力とツールの複雑なタスク固有の組み合わせを中心にしていました。
TR のトレーニング パラダイムとトレーニング目標の両方を統合するトレーニング フレームワークである UniTable を紹介します。
そのトレーニング パラダイムは、純粋にピクセル レベルの入力のシンプルさと、さまざまな注釈のない表形式の画像からの自己教師あり事前トレーニングによって強化される有効性と拡張性を組み合わせています。
私たちのフレームワークは、テーブル構造、セルの内容、セルの境界ボックスの抽出という 3 つの TR タスクすべてのトレーニング目標を、タスクに依存しない統一されたトレーニング目標である言語モデリングに統合します。
広範な定量的および定性的分析により、4 つの最大の TR データセットに対する UniTable の最先端 (SOTA) パフォーマンスが強調されます。
UniTable のテーブル解析機能は、既存の TR メソッドと一般的な大規模ビジョン言語モデル (GPT-4o、ビジョン付き GPT-4-turbo、LLaVA など) の両方を上回っています。
私たちのコードは https://github.com/poloclub/unitable で公開されており、複数の TR データセットにわたって微調整され、3 つの TR タスクすべてをサポートする完全な推論パイプラインを含む Jupyter Notebook を特徴としています。

要約(オリジナル)

Tables convey factual and quantitative data with implicit conventions created by humans that are often challenging for machines to parse. Prior work on table recognition (TR) has mainly centered around complex task-specific combinations of available inputs and tools. We present UniTable, a training framework that unifies both the training paradigm and training objective of TR. Its training paradigm combines the simplicity of purely pixel-level inputs with the effectiveness and scalability empowered by self-supervised pretraining from diverse unannotated tabular images. Our framework unifies the training objectives of all three TR tasks – extracting table structure, cell content, and cell bounding box – into a unified task-agnostic training objective: language modeling. Extensive quantitative and qualitative analyses highlight UniTable’s state-of-the-art (SOTA) performance on four of the largest TR datasets. UniTable’s table parsing capability has surpassed both existing TR methods and general large vision-language models, e.g., GPT-4o, GPT-4-turbo with vision, and LLaVA. Our code is publicly available at https://github.com/poloclub/unitable, featuring a Jupyter Notebook that includes the complete inference pipeline, fine-tuned across multiple TR datasets, supporting all three TR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google