要約
事前訓練された言語モデル（PLM）にエンコードされた事実知識は、その表現を豊かにし、知識ベースとしての使用を正当化する。これまでの研究では、主語と関係が与えられたときに、PLMがどの程度の頻度でオブジェクトの実体を正しく予測できるかを測定することで、PLMに事実知識をプローブすることや、PLMへのクエリに使用されるプロンプトを最適化することで事実検索を改善することに焦点を当ててきた。この研究では、補完的な側面、すなわち、PLMにおける事実知識の一貫性、すなわち、PLMが対象実体を最初に予測した場合に、どれくらいの頻度で対象実体を予測できるかを検討する。これは、PLMがどれだけ知っているかを評価することにとどまらず、PLM内部の知識の状態に焦点を当てるものである。我々の結果は、手作業で書かれ、最適化され、言い換えられたプロンプトを使用したPLMの一貫性は低いが、エビデンス段落を含めることで大幅に改善されることを示している。これは、PLMが逆関係をモデル化できていないことを示しており、パラメータからの事実の検索を首尾一貫した方法で処理し、知識ベースとして考慮するためには、さらなる拡張が必要であることを示している。
要約(オリジナル)
Factual knowledge encoded in Pre-trained Language Models (PLMs) enriches their representations and justifies their use as knowledge bases. Previous work has focused on probing PLMs for factual knowledge by measuring how often they can correctly predict an object entity given a subject and a relation, and improving fact retrieval by optimizing the prompts used for querying PLMs. In this work, we consider a complementary aspect, namely the coherency of factual knowledge in PLMs, i.e., how often can PLMs predict the subject entity given its initial prediction of the object entity. This goes beyond evaluating how much PLMs know, and focuses on the internal state of knowledge inside them. Our results indicate that PLMs have low coherency using manually written, optimized and paraphrased prompts, but including an evidence paragraph leads to substantial improvement. This shows that PLMs fail to model inverse relations and need further enhancements to be able to handle retrieving facts from their parameters in a coherent manner, and to be considered as knowledge bases.
arxiv情報
| 著者 | Paul Youssef,Jörg Schlötterer,Christin Seifert |
| 発行日 | 2024-02-02 14:42:09+00:00 |
| arxivサイト | arxiv_id(pdf) |