Prompting Explicit and Implicit Knowledge for Multi-hop Question Answering Based on Human Reading Process

要約

事前トレーニングされた言語モデル (PLM) は、思考連鎖 (CoT) を活用して人間の推論と推論プロセスをシミュレートし、マルチホップ QA で熟練したパフォーマンスを実現します。
ただし、複雑な問題に取り組む場合、PLM の推論能力と人間の推論能力の間にはギャップが残ります。
心理学の研究は、文章内の明示的な情報と読書中の人間の事前知識との間に重要なつながりがあることを示唆しています。
それにもかかわらず、現在の研究では、人間の認知研究の観点から、入力パッセージと PLM の事前トレーニングに基づく知識のリンクについて十分な注意が払われていません。
この研究では、マルチホップ QA の人間の読み取りプロセスに合わせて、プロンプトを使用して明示的知識と暗黙的知識を結び付けるプロンプト明示的および暗黙的知識 (PEI) フレームワークを導入します。
私たちは入力された文章を形式的知識と見なし、統一されたプロンプト推論を通じて暗黙の知識を引き出すためにそれらを使用します。
さらに、私たちのモデルには、暗黙知の一種であるプロンプトを介したタイプ固有の推論が組み込まれています。
実験結果は、PEI が HotpotQA の最先端のパフォーマンスと同等のパフォーマンスを発揮することを示しています。
アブレーション研究により、明示的知識と暗黙的知識の橋渡しと統合における私たちのモデルの有効性が確認されています。

要約(オリジナル)

Pre-trained language models (PLMs) leverage chains-of-thought (CoT) to simulate human reasoning and inference processes, achieving proficient performance in multi-hop QA. However, a gap persists between PLMs’ reasoning abilities and those of humans when tackling complex problems. Psychological studies suggest a vital connection between explicit information in passages and human prior knowledge during reading. Nevertheless, current research has given insufficient attention to linking input passages and PLMs’ pre-training-based knowledge from the perspective of human cognition studies. In this study, we introduce a Prompting Explicit and Implicit knowledge (PEI) framework, which uses prompts to connect explicit and implicit knowledge, aligning with human reading process for multi-hop QA. We consider the input passages as explicit knowledge, employing them to elicit implicit knowledge through unified prompt reasoning. Furthermore, our model incorporates type-specific reasoning via prompts, a form of implicit knowledge. Experimental results show that PEI performs comparably to the state-of-the-art on HotpotQA. Ablation studies confirm the efficacy of our model in bridging and integrating explicit and implicit knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google