Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains

要約

テキスト セグメントからエンティティへの言及を正確に入力することは、さまざまな自然言語処理アプリケーションにとって基本的なタスクです。
これまでのアプローチの多くは、エンティティの型指定を実行するために人間が注釈を付けた大量のデータに依存しています。
それにもかかわらず、モデルを機密データセットに適用する必要がある場合、トレーニング データと推論データの間のドメイン ギャップについて言及するまでもなく、高度に専門化された科学および工学ドメイン (ソフトウェア エンジニアリングやセキュリティなど) でそのようなデータを収集するには、時間と費用がかかる可能性があります。
この論文では、科学および工学ドメインにおけるシードガイドによるきめ細かいエンティティタイピングのタスクを研究します。このタスクは、エンティティタイプごとに名前といくつかのシードエンティティを唯一の監視として受け取り、新しいエンティティの言及を、見られる両方に分類することを目的としています。
および目に見えないタイプ (つまり、シード エンティティを持たないタイプ)。
この問題を解決するために、事前にトレーニングされた言語モデルの文脈化された表現を使用して、ラベルのないコーパスから各目に見えるタイプのエンティティをさらに見つけることで、最初に弱い監視を強化する SEType を提案します。
次に、エンリッチされたエンティティをラベルのないテキストと照合して、擬似ラベル付きサンプルを取得し、可視型と非可視型の両方について推論できるテキスト含意モデルをトレーニングします。
4 つのドメインをカバーする 2 つのデータセットに対する広範な実験により、さまざまなベースラインと比較した SEType の有効性が実証されました。

要約(オリジナル)

Accurately typing entity mentions from text segments is a fundamental task for various natural language processing applications. Many previous approaches rely on massive human-annotated data to perform entity typing. Nevertheless, collecting such data in highly specialized science and engineering domains (e.g., software engineering and security) can be time-consuming and costly, without mentioning the domain gaps between training and inference data if the model needs to be applied to confidential datasets. In this paper, we study the task of seed-guided fine-grained entity typing in science and engineering domains, which takes the name and a few seed entities for each entity type as the only supervision and aims to classify new entity mentions into both seen and unseen types (i.e., those without seed entities). To solve this problem, we propose SEType which first enriches the weak supervision by finding more entities for each seen type from an unlabeled corpus using the contextualized representations of pre-trained language models. It then matches the enriched entities to unlabeled text to get pseudo-labeled samples and trains a textual entailment model that can make inferences for both seen and unseen types. Extensive experiments on two datasets covering four domains demonstrate the effectiveness of SEType in comparison with various baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google