Cumulative Reasoning with Large Language Models

要約

言語モデルは強力で多用途ですが、非常に複雑な問題に対処できないことがよくあります。
これは、複雑な問題を解決するには意図的な思考が必要ですが、それはトレーニング中に最小限しか指導されていないためです。
この論文では、累積的かつ反復的な方法で言語モデルを使用して人間の思考プロセスをエミュレートする、累積推論 (CR) と呼ばれる新しい方法を提案します。
CR は、タスクを小さなコンポーネントに分解することで、問題解決プロセスを合理化し、より管理しやすく効果的なものにします。
論理推論タスクの場合、CR は既存の手法を常に上回り、最大 9.3% 向上し、厳選された FOLIO wiki データセットで 98.04% という驚くべき精度を達成しました。
Game of 24 のコンテキストでは、CR は 94% の精度を達成しました。これは、以前の最先端の方法と比較して 20% の大幅な向上を意味します。

要約(オリジナル)

While language models are powerful and versatile, they often fail to address highly complex problems. This is because solving complex problems requires deliberate thinking, which has been only minimally guided during training. In this paper, we propose a new method called Cumulative Reasoning (CR), which employs language models in a cumulative and iterative manner to emulate human thought processes. By decomposing tasks into smaller components, CR streamlines the problem-solving process, rendering it both more manageable and effective. For logical inference tasks, CR consistently outperforms existing methods with an improvement up to 9.3%, and achieves the astonishing accuracy of 98.04% on the curated FOLIO wiki dataset. In the context of the Game of 24, CR achieves an accuracy of 94%, which signifies a substantial enhancement of 20% over the previous state-of-the-art method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google