UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models

要約

タイトル：事前学習済み言語モデルの高度化のための統合された知識インタフェース「UNTER」

要約：

– 外部知識の導入は、下流の自然言語処理（NLP）タスクにおいて事前学習済み言語モデル（PLMs）を進歩させることができることを最近の研究が示している。
– しかし、既存の知識導入方法は構造化された知識または非構造化された知識のいずれかに適用されるため、統一的な使用方法が欠けている。
– 本論文では、統一された知識インターフェース「UNTER」を提案し、構造化された知識と非構造化された知識の両方を利用する統一的な視点を提供する。
– UNTERでは、デコーダを統一された知識インターフェースとして採用し、エンコーダから得られたスパン表現をそれに対応する知識と整合性を保ちながら、下流のアプリケーションにパラメータから一貫してスパン関連の知識を呼び出すことができるようにしている。
– 実験結果は、様々な知識主導型NLPタスク、特に低リソースのシナリオにおいて、UNTERが両方の形式の知識を注入することで、継続的な改善が得られることを示している。具体的には、エンティティタイピング、名前付きエンティティ認識、および関係抽出などのタスクが挙げられる。

要約(オリジナル)

Recent research demonstrates that external knowledge injection can advance pre-trained language models (PLMs) in a variety of downstream NLP tasks. However, existing knowledge injection methods are either applicable to structured knowledge or unstructured knowledge, lacking a unified usage. In this paper, we propose a UNified knowledge inTERface, UNTER, to provide a unified perspective to exploit both structured knowledge and unstructured knowledge. In UNTER, we adopt the decoder as a unified knowledge interface, aligning span representations obtained from the encoder with their corresponding knowledge. This approach enables the encoder to uniformly invoke span-related knowledge from its parameters for downstream applications. Experimental results show that, with both forms of knowledge injected, UNTER gains continuous improvements on a series of knowledge-driven NLP tasks, including entity typing, named entity recognition and relation extraction, especially in low-resource scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI