KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness

要約

タイトル： KEPLT：トピックエンティティ意識を持った知識拡張型プリトレーニング言語モデル

要約：
– Pre-trained Language Models（PLMs）は、未加工のテキストコーパスでプレトレーニングし、その後、ダウンストリームタスクでファインチューニングすることで、近年その優位性を示しています。
– Wikipediaのようなエンティティ豊富なテキストリソースでは、Knowledge-Enhanced PLMs（KEPLMs）は、トークンと言及されたエンティティの相互作用をプレトレーニングに組み込むため、エンティティ中心のタスク（エンティティリンクや関係分類など）に効果的です。
– 従来のKEPLMsはWikipediaの豊富な構造をある程度利用していますが、各Wikipediaページがトピックエンティティに基づいて配置された独自のレイアウトを無視しています。
– したがって、トピックエンティティを組み込まないKEPLMsは、不十分なエンティティ間相互作用とバイアスのある（関係）単語の意味を導くことになります。
– 本論文では、トピックエンティティ意識を持った新しい知識拡張プリトレーニング言語モデルであるKEPLETを提案します。
– KEPLETは、Wikipediaの文章にトピックエンティティの情報を追加する場所を特定し、トークンと言及されたエンティティの表現にその情報を融合し、トピックエンティティを考慮に入れます。
– 実験では、KEPLETが適用された2つの代表的なKEPLMsで、4つのエンティティ中心のタスクで有意な改善を実現したことが示されました。

要約(オリジナル)

In recent years, Pre-trained Language Models (PLMs) have shown their superiority by pre-training on unstructured text corpus and then fine-tuning on downstream tasks. On entity-rich textual resources like Wikipedia, Knowledge-Enhanced PLMs (KEPLMs) incorporate the interactions between tokens and mentioned entities in pre-training, and are thus more effective on entity-centric tasks such as entity linking and relation classification. Although exploiting Wikipedia’s rich structures to some extent, conventional KEPLMs still neglect a unique layout of the corpus where each Wikipedia page is around a topic entity (identified by the page URL and shown in the page title). In this paper, we demonstrate that KEPLMs without incorporating the topic entities will lead to insufficient entity interaction and biased (relation) word semantics. We thus propose KEPLET, a novel Knowledge-Enhanced Pre-trained LanguagE model with Topic entity awareness. In an end-to-end manner, KEPLET identifies where to add the topic entity’s information in a Wikipedia sentence, fuses such information into token and mentioned entities representations, and supervises the network learning, through which it takes topic entities back into consideration. Experiments demonstrated the generality and superiority of KEPLET which was applied to two representative KEPLMs, achieving significant improvements on four entity-centric tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI