Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction

要約

スクリプトイベント予測(SEP)は、与えられたイベントチェーンの後続イベントを候補リストから予測することを目的としている。先行研究では、セマンティクスを強化するために外部知識を統合することで大きな成功を収めているが、適切な知識リソースを取得し、スクリプト関連知識を検索するのは手間がかかる。本論文では、事前に訓練された公開言語モデルを知識ベースとみなし、プロンプト学習によってスクリプト関連知識を自動的にマイニングする。しかし、スクリプトにはシナリオの多様性とラベルの曖昧性があるため、プロンプト学習において最も機能的なプロンプトとラベルトークンを構築することは困難である。ガウス分布の不確実性を表現する能力を考慮し、プロンプトトークンとラベルトークンをガウス分布に従う確率変数として配置し、決定論的表現ではなく確率的表現を推定するプロンプト推定器とバーバライザー推定器を提案する。我々はSEPにおけるプロンプト学習を率先して探求し、スクリプトのセマンティクスを豊かにする新たな視点を提供する。我々の手法は、最も広く使われているベンチマークと、新たに提案された大規模なベンチマークで評価される。実験によると、事前に訓練された言語モデルから喚起された知識を利用する我々の手法は、2つのベンチマークでそれぞれ1.46%、1.05%先行するベースラインを上回った。

要約(オリジナル)

Script Event Prediction (SEP) aims to predict the subsequent event for a given event chain from a candidate list. Prior research has achieved great success by integrating external knowledge to enhance the semantics, but it is laborious to acquisite the appropriate knowledge resources and retrieve the script-related knowledge. In this paper, we regard public pre-trained language models as knowledge bases and automatically mine the script-related knowledge via prompt-learning. Still, the scenario-diversity and label-ambiguity in scripts make it uncertain to construct the most functional prompt and label token in prompt learning, i.e., prompt-uncertainty and verbalizer-uncertainty. Considering the innate ability of Gaussian distribution to express uncertainty, we deploy the prompt tokens and label tokens as random variables following Gaussian distributions, where a prompt estimator and a verbalizer estimator are proposed to estimate their probabilistic representations instead of deterministic representations. We take the lead to explore prompt-learning in SEP and provide a fresh perspective to enrich the script semantics. Our method is evaluated on the most widely used benchmark and a newly proposed large-scale one. Experiments show that our method, which benefits from knowledge evoked from pre-trained language models, outperforms prior baselines by 1.46\% and 1.05\% on two benchmarks, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL