MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning

要約

大規模言語モデルは、人間の表現を合理的に理解して生成することができますが、徹底的な思考と推論のメカニズムが欠けている可能性があります。
最近、言語モデルの思考能力を強化する研究がいくつかありますが、そのほとんどはデータ駆動型またはトレーニングベースではありません。
この論文では、自然界の認知メカニズムを動機として、最初に思考を検討し、次にクエリに基づいて応答を表現できる TaS と呼ばれる新しいモデル アーキテクチャを設計します。
アノテーションを付けたり、即時応答サンプルから思考内容を生成したりするためのいくつかのパイプラインを設計し、思考層として動作する中間層に言語ヘッドを追加します。
思考拡張データによって言語モデルをトレーニングし、思考層に合理的な思考を自動的に生成させ、最終的にはより合理的な応答を出力させることに成功しました。
定性的な例と定量的な結果の両方が、TaS の有効性とパフォーマンスを検証します。
私たちのコードは https://anonymous.4open.science/r/TadE で入手できます。

要約(オリジナル)

Large Language Model can reasonably understand and generate human expressions but may lack of thorough thinking and reasoning mechanisms. Recently there have been several studies which enhance the thinking ability of language models but most of them are not data-driven or training-based. In this paper, we are motivated by the cognitive mechanism in the natural world, and design a novel model architecture called TaS which allows it to first consider the thoughts and then express the response based upon the query. We design several pipelines to annotate or generate the thought contents from prompt-response samples, then add language heads in a middle layer which behaves as the thinking layer. We train the language model by the thoughts-augmented data and successfully let the thinking layer automatically generate reasonable thoughts and finally output more reasonable responses. Both qualitative examples and quantitative results validate the effectiveness and performance of TaS. Our code is available at https://anonymous.4open.science/r/TadE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google