UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models

要約

タイトル：事前学習された言語モデルを強化するための統合された知識インターフェース、UNTER

要約：
– 外部知識の注入が、さまざまなNLPタスクで事前学習言語モデル（PLM）を改善することができることが示されているが、既存の注入方法は構造化知識または非構造化知識のいずれかに適用され、単一の統合された使用が欠けています。
– 本論文では、UNTER（Unified knowledge inTERface）を提案し、構造化知識と非構造化知識の両方を活用するための統合された視点を提供します。
– UNTERでは、デコーダを統合された知識インターフェースとして採用し、エンコーダから得られたスパン表現をその対応する知識に合わせて整列させます。
– この方法により、エンコーダはダウンストリームアプリケーションに対してパラメータからのスパン関連知識を均一に呼び出すことができます。
– 実験結果は、知識の両方が注入された場合、特にリソースが少ない場合に、UNTERがエンティティタイピング、名前付きエンティティ認識、関係抽出などの一連の知識駆動型NLPタスクで継続的な改善を得ることを示しています。

要約(オリジナル)

Recent research demonstrates that external knowledge injection can advance pre-trained language models (PLMs) in a variety of downstream NLP tasks. However, existing knowledge injection methods are either applicable to structured knowledge or unstructured knowledge, lacking a unified usage. In this paper, we propose a UNified knowledge inTERface, UNTER, to provide a unified perspective to exploit both structured knowledge and unstructured knowledge. In UNTER, we adopt the decoder as a unified knowledge interface, aligning span representations obtained from the encoder with their corresponding knowledge. This approach enables the encoder to uniformly invoke span-related knowledge from its parameters for downstream applications. Experimental results show that, with both forms of knowledge injected, UNTER gains continuous improvements on a series of knowledge-driven NLP tasks, including entity typing, named entity recognition and relation extraction, especially in low-resource scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI