Improve Event Extraction via Self-Training with Gradient Guidance

要約

データ不足は、イベント抽出の進行を妨げる主な要因でした。
この問題を解決するために、我々は、大規模なラベルなしデータを活用し、ラベルなしデータを抽象意味表現 (AMR) グラフと比較することによって、ラベルなしデータから新しいイベント予測ごとにフィードバックを取得するフィードバック付き自己トレーニング (STF) フレームワークを提案します。
同じ文。
具体的には、STF は、(1) 既存のイベント アノテーションでトレーニングされた基本イベント抽出モデルと、擬似トレーニング サンプルとして新しいイベントの言及を予測するために大規模なラベルのないコーパスに適用される、(2) それぞれの新しいイベントを取り込む新しいスコアリング モデルで構成されます。
予測されたイベント トリガー、引数、その引数の役割、および AMR グラフ内のそれらのパスを使用して、擬似ラベルの正しさを示す互換性スコアを推定します。
互換性スコアはさらに、自己トレーニング中に擬似ラベルでのモデル学習を促進または抑制するフィードバックとして機能します。
ACE05-E、ACE05-E+、ERE を含む 3 つのベンチマーク データセットでの実験結果は、イベント抽出、特にイベント引数抽出における STF フレームワークの有効性を実証し、ベース イベント抽出モデルと強力なベースラインを上回る大幅なパフォーマンス向上を実現しました。
私たちの実験分析はさらに、STF が、高品質の AMR グラフ アノテーションが利用できない場合でも、大規模なラベルなしデータを活用することで、すべてではないにしてもほとんどのイベント抽出モデルを改善するために適用できる汎用フレームワークであることを示しています。

要約(オリジナル)

Data scarcity has been the main factor that hinders the progress of event extraction. To overcome this issue, we propose a Self-Training with Feedback (STF) framework that leverages the large-scale unlabeled data and acquires feedback for each new event prediction from the unlabeled data by comparing it to the Abstract Meaning Representation (AMR) graph of the same sentence. Specifically, STF consists of (1) a base event extraction model trained on existing event annotations and then applied to large-scale unlabeled corpora to predict new event mentions as pseudo training samples, and (2) a novel scoring model that takes in each new predicted event trigger, an argument, its argument role, as well as their paths in the AMR graph to estimate a compatibility score indicating the correctness of the pseudo label. The compatibility scores further act as feedback to encourage or discourage the model learning on the pseudo labels during self-training. Experimental results on three benchmark datasets, including ACE05-E, ACE05-E+, and ERE, demonstrate the effectiveness of the STF framework on event extraction, especially event argument extraction, with significant performance gain over the base event extraction models and strong baselines. Our experimental analysis further shows that STF is a generic framework as it can be applied to improve most, if not all, event extraction models by leveraging large-scale unlabeled data, even when high-quality AMR graph annotations are not available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google