SWI: Speaking with Intent in Large Language Models

要約

通常、明確に定式化され計画されている意図は、推論と問題解決のための認知フレームワークとして機能します。
このペーパーでは、大規模な言語モデル（LLMS）で意図（SWI）と話すという概念を紹介します。ここでは、明示的に生成された意図がモデルの根本的な意図をカプセル化し、その後の分析と通信を導くための高レベルの計画を提供します。
SWIは、人間の心の中で意図的で目的のある思考をエミュレートすることにより、LLMの推論能力と生成の質を高めるために仮定されています。
数学的推論ベンチマークに関する広範な実験は、ベースライン（つまり、明示的な意図のない生成）をめぐる意図で話すことの優位性を一貫して示しています。
さらに、SWIは、メソッドの考え方と計画と解決の方法を促し、強力なメソッドARR（分析、取得、および推論）で競争力を維持し、維持し、維持します。
さらに、SWIの有効性と一般化可能性は、SWIがベースライン生成に一貫した改善をもたらす、推論集約的な質問応答（QA）およびテキスト要約ベンチマークに固執しています。
テキストの要約では、SWIに生成された要約は、幻覚が少なく、より高い精度、簡潔さ、および事実の正確さを示します。
さらに、人間の評価は、SWIによって生成された意図の一貫性、有効性、および解釈可能性を検証します。
この概念実証研究は、認知的概念でLLMSの推論能力を高めるための新しい手段を作成します。

要約(オリジナル)

Intent, typically clearly formulated and planned, functions as a cognitive framework for reasoning and problem-solving. This paper introduces the concept of Speaking with Intent (SWI) in large language models (LLMs), where the explicitly generated intent encapsulates the model’s underlying intention and provides high-level planning to guide subsequent analysis and communication. By emulating deliberate and purposeful thoughts in the human mind, SWI is hypothesized to enhance the reasoning capabilities and generation quality of LLMs. Extensive experiments on mathematical reasoning benchmarks consistently demonstrate the superiority of Speaking with Intent over Baseline (i.e., generation without explicit intent). Moreover, SWI outperforms answer-trigger prompting methods Chain-of-Thought and Plan-and-Solve and maintains competitive performance with the strong method ARR (Analyzing, Retrieving, and Reasoning). Additionally, the effectiveness and generalizability of SWI are solidified on reasoning-intensive question answering (QA) and text summarization benchmarks, where SWI brings consistent improvement to the Baseline generation. In text summarization, SWI-generated summaries exhibit greater accuracy, conciseness, and factual correctness, with fewer hallucinations. Furthermore, human evaluations verify the coherence, effectiveness, and interpretability of the intent produced by SWI. This proof-of-concept study creates a novel avenue for enhancing LLMs’ reasoning abilities with cognitive notions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google