QueryForm: A Simple Zero-shot Form Entity Query Framework

要約

文書理解のためのゼロショット転移学習は、文書エンティティの注釈付けにかかる高額なコストを削減するために重要であるにもかかわらず、十分に研究されていないシナリオです。
ゼロショット方式でフォームのようなドキュメントからエンティティ値を抽出する、新しいクエリベースのフレームワーク QueryForm を紹介します。
QueryForm には、ドキュメント スキーマと特定のエンティティ タイプの両方をクエリに組み込む二重プロンプト メカニズムが含まれており、これは Transformer モデルに単一のエンティティ抽出タスクを実行するよう促すために使用されます。
さらに、弱い HTML アノテーションを持つフォームのような Web ページから生成された大規模なクエリとエンティティのペアを利用して、QueryForm を事前トレーニングすることを提案します。
QueryForm では、事前トレーニングと微調整を同じクエリベースのフレームワークに統合することで、モデルがさまざまなエンティティやレイアウトを含む構造化ドキュメントから学習できるようになり、ターゲット固有のトレーニング データを必要とせずに、ターゲットのドキュメント タイプへの一般化が向上します。
QueryForm は、より小さいモデル サイズと追加画像なしで、XFUND (+4.6%~10.1%) と Payment (+3.2%~9.5%) の両方のゼロショット ベンチマークで新しい最先端の平均 F1 スコアを設定します
入力。

要約(オリジナル)

Zero-shot transfer learning for document understanding is a crucial yet under-investigated scenario to help reduce the high cost involved in annotating document entities. We present a novel query-based framework, QueryForm, that extracts entity values from form-like documents in a zero-shot fashion. QueryForm contains a dual prompting mechanism that composes both the document schema and a specific entity type into a query, which is used to prompt a Transformer model to perform a single entity extraction task. Furthermore, we propose to leverage large-scale query-entity pairs generated from form-like webpages with weak HTML annotations to pre-train QueryForm. By unifying pre-training and fine-tuning into the same query-based framework, QueryForm enables models to learn from structured documents containing various entities and layouts, leading to better generalization to target document types without the need for target-specific training data. QueryForm sets new state-of-the-art average F1 score on both the XFUND (+4.6%~10.1%) and the Payment (+3.2%~9.5%) zero-shot benchmark, with a smaller model size and no additional image input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google