Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models

要約

事前トレーニングされた言語モデル (PLM) は、世界の知識が豊富なラベルのない膨大なデータに基づいてトレーニングされます。
この事実は、PLM に存在する事実知識の量を定量化することに対するコミュニティの関心を引き起こしました。これにより、下流タスクでのパフォーマンスが説明され、ナレッジ ベースとしての使用が潜在的に正当化されるからです。
この研究では、事実の知識を得るために PLM を調査するために使用される方法とデータセットを調査します。
私たちの貢献は次のとおりです。 (1) 入力、出力、および調査対象の PLM がどのように適応されるかに基づいて、事実を調査する手法の分類スキームを提案します。
(2) 事実の調査に使用されるデータセットの概要を提供します。
(3) PLM における知識の保持と迅速な最適化に関する洞察を総合し、PLM を知識ベースとして採用する際の障害を分析し、将来の作業の方向性を概説します。

要約(オリジナル)

Pre-trained Language Models (PLMs) are trained on vast unlabeled data, rich in world knowledge. This fact has sparked the interest of the community in quantifying the amount of factual knowledge present in PLMs, as this explains their performance on downstream tasks, and potentially justifies their use as knowledge bases. In this work, we survey methods and datasets that are used to probe PLMs for factual knowledge. Our contributions are: (1) We propose a categorization scheme for factual probing methods that is based on how their inputs, outputs and the probed PLMs are adapted; (2) We provide an overview of the datasets used for factual probing; (3) We synthesize insights about knowledge retention and prompt optimization in PLMs, analyze obstacles to adopting PLMs as knowledge bases and outline directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google