Find Parent then Label Children: A Two-stage Taxonomy Completion Method with Pre-trained Language Model

要約

ドメインの概念を階層構造に編成する分類法は、知識システムと下流のアプリケーションを構築するために重要です。
ドメインの知識が進化するにつれて、新しい概念を組み込むために分類法を継続的に更新する必要があります。
これまでのアプローチは、既存の階層ツリーのリーフ ノードに概念を追加することに主に焦点を当てていましたが、これでは分類の知識が十分に活用されず、元の分類構造 (通常は非リーフ ノードが関与する) を更新できません。
この論文では、分類を完了するための ATTEMPT と呼ばれる 2 段階の方法を提案します。
私たちの方法では、親ノードを見つけて子ノードにラベルを付けることによって、新しい概念を正しい位置に挿入します。
具体的には、ローカルノードとプロンプトを組み合わせて自然な文を生成することで、上位語/下位語の認識に事前トレーニングされた言語モデルを活用します。
2 つの公開データセット (6 つのドメインを含む) での実験結果は、ATTEMPT が分類の補完タスクと拡張タスクの両方で最高のパフォーマンスを示し、既存の方法を上回っていることを示しています。

要約(オリジナル)

Taxonomies, which organize domain concepts into hierarchical structures, are crucial for building knowledge systems and downstream applications. As domain knowledge evolves, taxonomies need to be continuously updated to include new concepts. Previous approaches have mainly focused on adding concepts to the leaf nodes of the existing hierarchical tree, which does not fully utilize the taxonomy’s knowledge and is unable to update the original taxonomy structure (usually involving non-leaf nodes). In this paper, we propose a two-stage method called ATTEMPT for taxonomy completion. Our method inserts new concepts into the correct position by finding a parent node and labeling child nodes. Specifically, by combining local nodes with prompts to generate natural sentences, we take advantage of pre-trained language models for hypernym/hyponymy recognition. Experimental results on two public datasets (including six domains) show that ATTEMPT performs best on both taxonomy completion and extension tasks, surpassing existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google