DocGraphLM: Documental Graph Language Model for Information Extraction

要約

Visually Rich Document Understanding (VrDU) の進歩により、複雑なレイアウトを持つドキュメントに対する情報抽出と質問応答が可能になりました。
LLM とグラフ ニューラル ネットワークに触発されたトランスフォーマー ベースのモデルという 2 つのアーキテクチャの比喩が登場しました。
このペーパーでは、事前トレーニングされた言語モデルとグラフ セマンティクスを組み合わせた新しいフレームワークである DocGraphLM を紹介します。
これを達成するために、1) 文書を表現するための共同エンコーダ アーキテクチャ、2) 文書グラフを再構築するための新しいリンク予測アプローチを提案します。
DocGraphLM は、近傍の復元を優先し、遠方のノードの検出を軽減する収束結合損失関数を使用して、ノード間の方向と距離の両方を予測します。
3 つの SotA データセットに対する実験では、グラフ機能の採用により IE および QA タスクが一貫して改善されたことが示されています。
さらに、グラフの特徴を採用することで、リンク予測のみによって構築されたにもかかわらず、トレーニング中の学習プロセスの収束が加速されることを報告します。

要約(オリジナル)

Advances in Visually Rich Document Understanding (VrDU) have enabled information extraction and question answering over documents with complex layouts. Two tropes of architectures have emerged — transformer-based models inspired by LLMs, and Graph Neural Networks. In this paper, we introduce DocGraphLM, a novel framework that combines pre-trained language models with graph semantics. To achieve this, we propose 1) a joint encoder architecture to represent documents, and 2) a novel link prediction approach to reconstruct document graphs. DocGraphLM predicts both directions and distances between nodes using a convergent joint loss function that prioritizes neighborhood restoration and downweighs distant node detection. Our experiments on three SotA datasets show consistent improvement on IE and QA tasks with the adoption of graph features. Moreover, we report that adopting the graph features accelerates convergence in the learning process during training, despite being solely constructed through link prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google