SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

要約

自然言語処理の急速に進化する分野では、大規模な言語モデル（LLM）には、ますます複雑な推論の課題が課せられています。
考え方の促しのような伝統的な方法は有望であることを示していますが、モデルの推論能力を完全に活用するのに不足していることがよくあります。
このホワイトペーパーでは、自己焦点のパラダイムを通じて推論を改善するために設計された新規プロンプト技術であるSquare（Sequential Ouction Reshing Reasoning Engine）を紹介します。
COTフレームワークに基づいて、Squareはメインクエリに取り組む前に複数の補助質問を生成および解決するようにモデルをプロンプトし、トピックのさまざまな側面のより徹底的な調査を促進します。
複数の質問分配データセットでLLAMA 3およびGPT-4Oモデルを使用して実施された広大な評価は、正方形が従来のCOTプロンプトと既存の再配置とレスポンドの方法を大幅に上回ることを示しています。
クエリを体系的に分解することにより、Squareは推論タスクでLLM機能を進めます。
このコードは、https://github.com/intellabs/rag-fit/tree/squareで公開されています。

要約(オリジナル)

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model’s reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google