SG-FSM: A Self-Guiding Zero-Shot Prompting Paradigm for Multi-Hop Question Answering Based on Finite State Machine

要約

OpenAI-o1 などの思考連鎖プロンプトを備えた大規模言語モデルは、自然言語推論タスクにおいて優れた機能を示しています。
ただし、マルチホップ質問応答 (MHQA) は、幻覚、エラー伝播、コンテキストの長さの制限などの問題により、多くの既存モデルにとって依然として困難です。
これらの課題に対処し、MHQA での LLM のパフォーマンスを向上させるために、マルチホップ推論能力を強化するように設計された自己誘導プロンプト有限状態マシン (SG-FSM) を提案します。
従来の思考連鎖手法とは異なり、SG-FSM は、複雑な質問をサブ質問に繰り返し分解し、精度を向上させるために自身を修正することで MHQA に取り組みます。
一度に 1 つのサブ質問を処理し、現在のコンテキストと結果に基づいて次のステップを動的に決定し、オートマトンのように機能します。
さまざまなベンチマークにわたる実験により、私たちのアプローチの有効性が実証され、Musique などの困難なデータセットで強力なベースラインを上回りました。
SG-FSM は幻覚を軽減し、中間エラーがあっても正しい最終解答を回復できるようにします。
また、指定された出力形式への準拠性も向上し、評価が大幅に簡素化されます。

要約(オリジナル)

Large Language Models with chain-of-thought prompting, such as OpenAI-o1, have shown impressive capabilities in natural language inference tasks. However, Multi-hop Question Answering (MHQA) remains challenging for many existing models due to issues like hallucination, error propagation, and limited context length. To address these challenges and enhance LLMs’ performance on MHQA, we propose the Self-Guiding prompting Finite State Machine (SG-FSM), designed to strengthen multi-hop reasoning abilities. Unlike traditional chain-of-thought methods, SG-FSM tackles MHQA by iteratively breaking down complex questions into sub-questions, correcting itself to improve accuracy. It processes one sub-question at a time, dynamically deciding the next step based on the current context and results, functioning much like an automaton. Experiments across various benchmarks demonstrate the effectiveness of our approach, outperforming strong baselines on challenging datasets such as Musique. SG-FSM reduces hallucination, enabling recovery of the correct final answer despite intermediate errors. It also improves adherence to specified output formats, simplifying evaluation significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google