LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model

要約

タイトル： LasUIE：潜在的な適応構造を考慮した生成言語モデルによる情報抽出の統一

要約：
– 情報抽出タスクのすべてを1つの生成言語モデル（GLM）でモデリングすることは、最近の研究で大きな可能性が示されています。
– 構文構造情報は、IEコミュニティで広く利用されている有効な特徴の1つであり、UIEにとっても有益です。
– この研究では、構文知識のパワーを完全に発揮する、新しい構造を考慮したGLMを提案します。
– 異種構造誘導体を探索し、既存のGLMの事後トレーニングにより、豊富な異種構造表現を非監督的に誘導します。
– 特に、構造放送局は、さまざまな潜在的な木構造を明示的に高次元のフォレストにコンパクト化し、デコード時によりよい生成を指示するのに役立ちます。
– 最後に、タスク指向の構造微調整メカニズムを紹介し、学習された構造を最終タスクのニーズと最も一致するように調整します。
– 7つのタスクにわたる12のIEベンチマークを行い、当社のシステムは、ベースラインUIEシステムに比べて大幅に改善されました。詳細な分析により、当社のGLMが、UIEの問題である長距離依存性の問題や境界識別の問題を大幅に解決するための豊富なタスク適応構造バイアスを学習することがわかりました。 ソースコードは https://github.com/ChocoWu/LasUIE に公開されています。

要約(オリジナル)

Universally modeling all typical information extraction tasks (UIE) with one generative language model (GLM) has revealed great potential by the latest study, where various IE predictions are unified into a linearized hierarchical expression under a GLM. Syntactic structure information, a type of effective feature which has been extensively utilized in IE community, should also be beneficial to UIE. In this work, we propose a novel structure-aware GLM, fully unleashing the power of syntactic knowledge for UIE. A heterogeneous structure inductor is explored to unsupervisedly induce rich heterogeneous structural representations by post-training an existing GLM. In particular, a structural broadcaster is devised to compact various latent trees into explicit high-order forests, helping to guide a better generation during decoding. We finally introduce a task-oriented structure fine-tuning mechanism, further adjusting the learned structures to most coincide with the end-task’s need. Over 12 IE benchmarks across 7 tasks our system shows significant improvements over the baseline UIE system. Further in-depth analyses show that our GLM learns rich task-adaptive structural bias that greatly resolves the UIE crux, the long-range dependence issue and boundary identifying. Source codes are open at https://github.com/ChocoWu/LasUIE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI