BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering

要約

大規模言語モデル (LLM) は、強力な推論機能を実証しています。
それにもかかわらず、知識集約的なタスクに取り組むとき、依然として事実誤認に悩まされています。
検索拡張推論は有望なアプローチです。
しかし、複雑な質問の不正確かつ不十分な検索や、複数の情報源の知識を統合する難しさなど、重大な課題が依然として残っています。
これに対処するために、知識集約型マルチホップ QA のための推論フレームワークである Beam Aggregation Reasoning (BeamAggR) を提案します。
BeamAggR は、質問の各ホップで有望な回答を探索し、優先順位を付けます。
具体的には、複雑な質問をツリーに解析します。ツリーにはアトム質問と複合質問が含まれ、その後、ボトムアップ推論が続きます。
アトミックな質問の場合、LLM は複数の情報源の知識に基づいて推論を実行し、回答の候補を取得します。
複合的な質問の場合、LLM はビーム候補を結合し、確率的集計を通じて複数の推論パスを探索し、最も有望な軌道に優先順位を付けます。
4 つのオープンドメイン マルチホップ推論データセットに対する広範な実験により、私たちの手法が SOTA 手法を 8.5% 大幅に上回ることが示されました。
さらに、私たちの分析では、BeamAggR がより優れた知識のコラボレーションと回答の集約を引き出すことが明らかになりました。

要約(オリジナル)

Large language models (LLMs) have demonstrated strong reasoning capabilities. Nevertheless, they still suffer from factual errors when tackling knowledge-intensive tasks. Retrieval-augmented reasoning represents a promising approach. However, significant challenges still persist, including inaccurate and insufficient retrieval for complex questions, as well as difficulty in integrating multi-source knowledge. To address this, we propose Beam Aggregation Reasoning, BeamAggR, a reasoning framework for knowledge-intensive multi-hop QA. BeamAggR explores and prioritizes promising answers at each hop of question. Concretely, we parse the complex questions into trees, which include atom and composite questions, followed by bottom-up reasoning. For atomic questions, the LLM conducts reasoning on multi-source knowledge to get answer candidates. For composite questions, the LLM combines beam candidates, explores multiple reasoning paths through probabilistic aggregation, and prioritizes the most promising trajectory. Extensive experiments on four open-domain multi-hop reasoning datasets show that our method significantly outperforms SOTA methods by 8.5%. Furthermore, our analysis reveals that BeamAggR elicits better knowledge collaboration and answer aggregation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google