Reducing Reasoning Costs: The Path of Optimization for Chain of Thought via Sparse Attention Mechanism

要約

大規模な言語モデルの推論における思考の連鎖に対処するために、この研究は、いくつかの関連するトークンにのみ焦点を当てたまばらな注意メカニズムを使用することを提案しています。
研究者は新しい注意メカニズムを構築し、実験ツールとしてカスタムGPTで訓練されたGianTrabbitを使用しました。
この実験では、このモデルの推論時間、正確性スコア、および思考長のチェーンと、MIT OpenCoursewareの線形代数テストの質問を解く際にO1プレビューをテストして比較しました。
結果は、GianTrabbitの推論時間と思考の長さの連鎖がO1プレビューよりも大幅に低いことを示しています。
これは、思考の推論の連鎖を最適化するためのまばらな注意メカニズムの実現可能性を検証します。
詳細なアーキテクチャの詳細と実験プロセスはGitHubにアップロードされています。リンクはhttps：//github.com/brucewang123456789/geniustrail.gitです。

要約(オリジナル)

In order to address the chain of thought in the large language model inference cost surge, this research proposes to use a sparse attention mechanism that only focuses on a few relevant tokens. The researcher constructed a new attention mechanism and used GiantRabbit trained with custom GPTs as an experimental tool. The experiment tested and compared the reasoning time, correctness score and chain of thought length of this model and o1 Preview in solving the linear algebra test questions of MIT OpenCourseWare. The results show that GiantRabbit’s reasoning time and chain of thought length are significantly lower than o1 Preview. It verifies the feasibility of sparse attention mechanism for optimizing chain of thought reasoning. Detailed architectural details and experimental process have been uploaded to Github, the link is:https://github.com/brucewang123456789/GeniusTrail.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google