Probing Pretrained Language Models with Hierarchy Properties

要約

事前トレーニング済み言語モデル (PLM) は最新の情報検索 (IR) モデルの基礎であるため、意味論的な知識をエンコードする方法が特に重要です。
しかし、階層的な意味論的な知識を捕捉する PLM の機能の研究にはほとんど注目されていません。
従来、PLM にエンコードされたこのような知識の評価は、上位語検出などのプロキシ タスクに基づくタスク依存の評価アプローチでのパフォーマンスに依存していました。
残念ながら、このアプローチは他の暗黙的で複雑な分類学的関係を無視する可能性があります。
この研究では、PLM が祖先や兄弟などの複雑な分類関係をどの程度まで把握できるかを評価できる、タスクに依存しない評価方法を提案します。
評価は、分類の階層的性質を捉える固有の特性に基づいています。
私たちの実験による評価では、PLM に暗黙的にエンコードされた語彙意味論的な知識が必ずしも階層関係を捉えているわけではないことが示されています。
さらに、提案されたプロパティを PLM に注入して、階層の理解を向上させることができることを示します。
分類法の再構築、上位語の発見、および読解タスクの評価を通じて、階層に関する知識は適度にあるものの、タスク間で系統的に移行可能ではないことを示します。

要約(オリジナル)

Since Pretrained Language Models (PLMs) are the cornerstone of the most recent Information Retrieval (IR) models, the way they encode semantic knowledge is particularly important. However, little attention has been given to studying the PLMs’ capability to capture hierarchical semantic knowledge. Traditionally, evaluating such knowledge encoded in PLMs relies on their performance on a task-dependent evaluation approach based on proxy tasks, such as hypernymy detection. Unfortunately, this approach potentially ignores other implicit and complex taxonomic relations. In this work, we propose a task-agnostic evaluation method able to evaluate to what extent PLMs can capture complex taxonomy relations, such as ancestors and siblings. The evaluation is based on intrinsic properties that capture the hierarchical nature of taxonomies. Our experimental evaluation shows that the lexico-semantic knowledge implicitly encoded in PLMs does not always capture hierarchical relations. We further demonstrate that the proposed properties can be injected into PLMs to improve their understanding of hierarchy. Through evaluations on taxonomy reconstruction, hypernym discovery and reading comprehension tasks, we show that the knowledge about hierarchy is moderately but not systematically transferable across tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google