Zero-Shot Multi-Hop Question Answering via Monte-Carlo Tree Search with Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩は、マルチホップ質問応答 (MHQA) の領域に大きな影響を与えています。MHQA では、システムは情報を集約し、異種のテキストから回答を推測する必要があります。
ただし、LLM の自己回帰的な性質は、中間の推論ステップで間違いが発生した場合にエラーが蓄積する可能性があるため、本質的に課題を引き起こします。
この論文では、ゼロショット マルチホップ質問応答 (MZQA) のためのモンテカルロ ツリー検索を紹介します。これは、モンテカルロ ツリー検索 (MCTS) に基づくフレームワークで、MHQA タスクで最適な推論パスを特定し、逐次推論プロセスからのエラー伝播を軽減します。
。
これまでの研究とは異なり、私たちはゼロショット プロンプト手法を提案します。この手法は、通常、ドメインの専門知識を必要とする手作りの少数ショットのサンプルのサポートなしで、指示のみに依存します。
また、自己生成された MCTS 推論軌道でトレーニングされた行動クローニング アプローチ (MZQA-BC) も導入し、パフォーマンスをほとんど犠牲にせずに推論速度の 10 倍以上の向上を達成しました。
私たちの手法の有効性は、HotpotQA、2WikiMultihopQA、MuSiQue などの標準ベンチマークで検証され、既存のフレームワークよりも優れていることが実証されています。

要約(オリジナル)

Recent advances in large language models (LLMs) have significantly impacted the domain of multi-hop question answering (MHQA), where systems are required to aggregate information and infer answers from disparate pieces of text. However, the autoregressive nature of LLMs inherently poses a challenge as errors may accumulate if mistakes are made in the intermediate reasoning steps. This paper introduces Monte-Carlo tree search for Zero-shot multi-hop Question Answering (MZQA), a framework based on Monte-Carlo tree search (MCTS) to identify optimal reasoning paths in MHQA tasks, mitigating the error propagation from sequential reasoning processes. Unlike previous works, we propose a zero-shot prompting method, which relies solely on instructions without the support of hand-crafted few-shot examples that typically require domain expertise. We also introduce a behavioral cloning approach (MZQA-BC) trained on self-generated MCTS inference trajectories, achieving an over 10-fold increase in reasoning speed with bare compromise in performance. The efficacy of our method is validated on standard benchmarks such as HotpotQA, 2WikiMultihopQA, and MuSiQue, demonstrating that it outperforms existing frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google