Zero-shot Triplet Extraction by Template Infilling

要約

トリプレット抽出のタスクは、非構造化テキストからエンティティのペアとそれらの対応する関係を抽出することを目的としています。
既存の手法のほとんどは、特定のターゲット関係を含むトレーニング データに基づいて抽出モデルをトレーニングするため、トレーニング時に観察されなかった新しい関係を抽出することができません。
モデルを目に見えない関係に一般化するには、通常、ノイズが多く信頼性の低い合成トレーニング データを微調整する必要があります。
トリプレット抽出を事前トレーニング済み言語モデル (LM) 上のテンプレート埋め込みタスクに減らすことで、抽出モデルにゼロショット学習機能を装備し、追加のトレーニング データの必要性を排除できることを示します。
我々は、タスクの目的を生成変換器の事前トレーニングの目的に合わせて、目に見えない関係を一般化する新しいフレームワーク ZETT (テンプレート充填によるゼロショット トリプレット抽出) を提案します。
FewRel および Wiki-ZSL データセットでの実験では、自動生成されたテンプレートを使用した場合でも、ZETT が一貫した安定したパフォーマンスを示し、以前の最先端の方法を上回るパフォーマンスを示すことが実証されました。
https://github.com/megagonlabs/zett/

要約(オリジナル)

The task of triplet extraction aims to extract pairs of entities and their corresponding relations from unstructured text. Most existing methods train an extraction model on training data involving specific target relations, and are incapable of extracting new relations that were not observed at training time. Generalizing the model to unseen relations typically requires fine-tuning on synthetic training data which is often noisy and unreliable. We show that by reducing triplet extraction to a template infilling task over a pre-trained language model (LM), we can equip the extraction model with zero-shot learning capabilities and eliminate the need for additional training data. We propose a novel framework, ZETT (ZEro-shot Triplet extraction by Template infilling), that aligns the task objective to the pre-training objective of generative transformers to generalize to unseen relations. Experiments on FewRel and Wiki-ZSL datasets demonstrate that ZETT shows consistent and stable performance, outperforming previous state-of-the-art methods, even when using automatically generated templates. https://github.com/megagonlabs/zett/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google