Extracting Multi-valued Relations from Language Models

要約

事前トレーニング済み言語モデル (LM) による潜在言語表現が広く使用されているということは、潜在言語表現が構造化知識の有望な情報源であることを示唆しています。
ただし、既存の方法では、多くの場合、複数のオブジェクトが正しい場合でも、主題と関係のペアごとに 1 つのオブジェクトのみに焦点を当てています。
この制限を克服するために、具体化された複数オブジェクトのリレーショナル知識を生み出す可能性について、これらの表現を分析します。
問題をランク付けしてから選択するタスクとして定式化します。
候補オブジェクトをランク付けするために、既存のプロンプト手法を評価し、ドメインの知識を組み込んだ新しいプロンプト手法を提案します。
選択方法の中で、学習された関係固有のしきい値を超える可能性を持つオブジェクトを選択すると、49.5% の F1 スコアが得られることがわかりました。
私たちの結果は、多値スロット充填タスクに LM を採用することの難しさを浮き彫りにし、潜在的な言語表現からリレーショナル知識を抽出するさらなる研究への道を開きます。

要約(オリジナル)

The widespread usage of latent language representations via pre-trained language models (LMs) suggests that they are a promising source of structured knowledge. However, existing methods focus only on a single object per subject-relation pair, even though often multiple objects are correct. To overcome this limitation, we analyze these representations for their potential to yield materialized multi-object relational knowledge. We formulate the problem as a rank-then-select task. For ranking candidate objects, we evaluate existing prompting techniques and propose new ones incorporating domain knowledge. Among the selection methods, we find that choosing objects with a likelihood above a learned relation-specific threshold gives a 49.5% F1 score. Our results highlight the difficulty of employing LMs for the multi-valued slot-filling task and pave the way for further research on extracting relational knowledge from latent language representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google