Efficient Data Learning for Open Information Extraction with Pre-trained Language Models

要約

Open Information Extraction (OpenIE) は、自然言語処理の基本的かつ困難なタスクであり、指定された文からすべてのトリプル (主語、述語、目的語) を抽出する必要があります。
ラベル付けベースの手法にも利点がありますが、生成ベースの手法には、元の文に存在しないトークンを生成できるなど、独自の利点があります。
ただし、これらの生成ベースの方法では、多くの場合、OpenIE のタスク フォームを学習するために大量のトレーニング データが必要になり、順序ペナルティによるモデルの収束の遅さを克服するためにかなりのトレーニング時間が必要になります。
この論文では、OpenIE のタスク フォームを T5 モデルの事前トレーニング タスク フォームに巧みに変換する新しいフレームワーク OK-IE を紹介します。これにより、大規模なトレーニング データの必要性が軽減されます。
さらに、モデル出力のシーケンスを制御する革新的なアンカーの概念を導入し、モデルの収束に対する順序ペナルティの影響を効果的に排除し、トレーニング時間を大幅に短縮します。
実験結果によると、以前の SOTA 手法と比較して、OK-IE では同等の結果を達成するためにトレーニング データの 1/100 (900 インスタンス) とトレーニング時間の 1/120 (3 分) しか必要としません。

要約(オリジナル)

Open Information Extraction (OpenIE) is a fundamental yet challenging task in Natural Language Processing, which involves extracting all triples (subject, predicate, object) from a given sentence. While labeling-based methods have their merits, generation-based techniques offer unique advantages, such as the ability to generate tokens not present in the original sentence. However, these generation-based methods often require a significant amount of training data to learn the task form of OpenIE and substantial training time to overcome slow model convergence due to the order penalty. In this paper, we introduce a novel framework, OK-IE, that ingeniously transforms the task form of OpenIE into the pre-training task form of the T5 model, thereby reducing the need for extensive training data. Furthermore, we introduce an innovative concept of Anchor to control the sequence of model outputs, effectively eliminating the impact of order penalty on model convergence and significantly reducing training time. Experimental results indicate that, compared to previous SOTA methods, OK-IE requires only 1/100 of the training data (900 instances) and 1/120 of the training time (3 minutes) to achieve comparable results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google