MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning

要約

大規模な言語モデルは、人間の表現を合理的に理解し、生成することができますが、徹底的な思考と推論メカニズムが欠けている可能性があります。
最近、言語モデルの思考能力を高めるいくつかの研究がありますが、それらのほとんどはデータ駆動型またはトレーニングベースではありません。
この論文では、自然界の認知メカニズムに動機付けられており、TASと呼ばれる新しいモデルアーキテクチャを設計し、最初に思考を検討し、次にクエリに基づいて応答を表現できます。
いくつかのパイプラインを設計して、プロンプト応答サンプルから思考コンテンツを注釈または生成し、思考層として動作する中間層に言語ヘッドを追加します。
思考能力のあるデータによって言語モデルをトレーニングし、思考レイヤーが合理的な思考を自動的に生成し、最終的により合理的な応答を出力できるようにします。
定性的な例と定量的結果の両方が、TASの有効性とパフォーマンスを検証します。
私たちのコードは、https：//anonymous.4open.science/r/tadeで入手できます。

要約(オリジナル)

Large Language Model can reasonably understand and generate human expressions but may lack of thorough thinking and reasoning mechanisms. Recently there have been several studies which enhance the thinking ability of language models but most of them are not data-driven or training-based. In this paper, we are motivated by the cognitive mechanism in the natural world, and design a novel model architecture called TaS which allows it to first consider the thoughts and then express the response based upon the query. We design several pipelines to annotate or generate the thought contents from prompt-response samples, then add language heads in a middle layer which behaves as the thinking layer. We train the language model by the thoughts-augmented data and successfully let the thinking layer automatically generate reasonable thoughts and finally output more reasonable responses. Both qualitative examples and quantitative results validate the effectiveness and performance of TaS. Our code is available at https://anonymous.4open.science/r/TadE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google