OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing

要約

テキスト内のエンティティにコンテキスト依存の粒度の細かいセマンティック タイプを割り当てる粒度の細かいエンティティ タイピング (FET) は、非構造化テキストから知識を抽出するための基本的ですが重要なタスクです。
FET は自然言語処理において広く研究されており、通常は人間が注釈を付けたコーパスに依存してトレーニングを行っていますが、コストが高く、拡張するのが困難です。
最近の研究では、FET に対する豊富なコンテキスト認識型の弱い監視を生成するための知識ベースとして、事前トレーニング済み言語モデル (PLM) の利用が検討されています。
ただし、PLM では、大まかなタイプと細かいタイプの混合、または入力に適さないトークンが生成されることが多いため、ナレッジ ベースとして機能するための指示とガイダンスが依然として必要です。
この研究では、オントロジーがセマンティクスに富んだ階層構造を提供し、複数の PLM モデルと見出し語によって生成される最良の結果を選択するのに役立つと考えています。
具体的には、新しいアノテーションフリーのオントロジーガイド付き FET メソッドである OntoType を提案します。これは、粗いものから細かいものまで、型オントロジー構造に従い、複数の PLM プロンプト結果をアンサンブルして型候補のセットを生成し、その型解決を洗練します。
自然言語推論モデルを使用したローカル コンテキスト。
Ontonotes、FIGER、および NYT データセットに関連するオントロジー構造を使用した実験では、私たちの方法が最先端のゼロショットのきめ細かいエンティティ タイピング方法や典型的な LLM 方法である ChatGPT よりも優れていることが実証されました。
私たちのエラー分析により、既存のオントロジー構造を改良することで、きめ細かいエンティティのタイピングがさらに向上することがわかりました。

要約(オリジナル)

Fine-grained entity typing (FET), which assigns entities in text with context-sensitive, fine-grained semantic types, is a basic but important task for knowledge extraction from unstructured text. FET has been studied extensively in natural language processing and typically relies on human-annotated corpora for training, which is costly and difficult to scale. Recent studies explore the utilization of pre-trained language models (PLMs) as a knowledge base to generate rich and context-aware weak supervision for FET. However, a PLM still requires direction and guidance to serve as a knowledge base as they often generate a mixture of rough and fine-grained types, or tokens unsuitable for typing. In this study, we vision that an ontology provides a semantics-rich, hierarchical structure, which will help select the best results generated by multiple PLM models and head words. Specifically, we propose a novel annotation-free, ontology-guided FET method, OntoType, which follows a type ontological structure, from coarse to fine, ensembles multiple PLM prompting results to generate a set of type candidates, and refines its type resolution, under the local context with a natural language inference model. Our experiments on the Ontonotes, FIGER, and NYT datasets using their associated ontological structures demonstrate that our method outperforms the state-of-the-art zero-shot fine-grained entity typing methods as well as a typical LLM method, ChatGPT. Our error analysis shows that refinement of the existing ontology structures will further improve fine-grained entity typing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google