Prompting Explicit and Implicit Knowledge for Multi-hop Question Answering Based on Human Reading Process

要約

事前に訓練された言語モデル（PLM）は、人間の推論と推論プロセスをシミュレートするために思考の連鎖（CoT）を活用し、マルチホップQAにおいて十分なパフォーマンスを達成する。しかし、複雑な問題に取り組む際のPLMの推論能力と人間の推論能力の間にはギャップがあります。心理学の研究では、文章中の明示的な情報と、読書中の人間の事前知識との間に重要な関係があることが示唆されている。しかし、現在の研究では、人間の認知研究の観点から、入力文章とPLMの事前訓練に基づく知識を関連付けることには十分な注意が払われていない。本研究では、マルチホップQAのために、人間の読解プロセスに沿ったプロンプトを使用して、明示的知識と暗黙的知識を結びつけるプロンプティング明示的知識・暗黙的知識（PEI）フレームワークを導入する。我々は入力文章を明示的知識とみなし、統一的なプロンプト推論を通して暗黙的知識を引き出すためにプロンプトを用いる。さらに、我々のモデルは暗黙知の一形態であるプロンプトを介したタイプ別推論を組み込んでいる。実験の結果、PEIはHotpotQAにおいて最先端技術に匹敵する性能を示した。アブレーション研究により、明示的知識と暗黙的知識の橋渡しと統合における我々のモデルの有効性が確認された。

要約(オリジナル)

Pre-trained language models (PLMs) leverage chains-of-thought (CoT) to simulate human reasoning and inference processes, achieving proficient performance in multi-hop QA. However, a gap persists between PLMs’ reasoning abilities and those of humans when tackling complex problems. Psychological studies suggest a vital connection between explicit information in passages and human prior knowledge during reading. Nevertheless, current research has given insufficient attention to linking input passages and PLMs’ pre-training-based knowledge from the perspective of human cognition studies. In this study, we introduce a Prompting Explicit and Implicit knowledge (PEI) framework, which uses prompts to connect explicit and implicit knowledge, aligning with human reading process for multi-hop QA. We consider the input passages as explicit knowledge, employing them to elicit implicit knowledge through unified prompt reasoning. Furthermore, our model incorporates type-specific reasoning via prompts, a form of implicit knowledge. Experimental results show that PEI performs comparably to the state-of-the-art on HotpotQA. Ablation studies confirm the efficacy of our model in bridging and integrating explicit and implicit knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL