A Step Closer to Comprehensive Answers: Constrained Multi-Stage Question Decomposition with Large Language Models

要約

大規模な言語モデルは、質問応答タスクで顕著なパフォーマンスを示しますが、幻覚の影響を受けやすくなります。
これらのモデルが複雑な質問におけるマルチホップ関係の理解に取り組んでいる場合、または包括的な応答に必要な知識が不足している場合に、課題が発生します。
この問題に対処するために、「Decompose-and-Query」フレームワーク (D&Q) を導入します。
このフレームワークは、モデルが ReAct と同様に外部の知識を考えて活用するように導きますが、同時にその思考を信頼できる情報に限定して、幻覚のリスクを効果的に軽減します。
実験により、D&Q の有効性が確認されています。ChitChatQA データセットでは、D&Q は 67% のケースで ChatGPT に負けません。
HotPotQA の質問のみの設定では、D&Q は 59.6% の F1 スコアを達成しました。
私たちのコードは https://github.com/alkaidpku/DQ-ToolQA で入手できます。

要約(オリジナル)

While large language models exhibit remarkable performance in the Question Answering task, they are susceptible to hallucinations. Challenges arise when these models grapple with understanding multi-hop relations in complex questions or lack the necessary knowledge for a comprehensive response. To address this issue, we introduce the ‘Decompose-and-Query’ framework (D&Q). This framework guides the model to think and utilize external knowledge similar to ReAct, while also restricting its thinking to reliable information, effectively mitigating the risk of hallucinations. Experiments confirm the effectiveness of D&Q: On our ChitChatQA dataset, D&Q does not lose to ChatGPT in 67% of cases; on the HotPotQA question-only setting, D&Q achieved an F1 score of 59.6%. Our code is available at https://github.com/alkaidpku/DQ-ToolQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google