Causal Language Modeling Can Elicit Search and Reasoning Capabilities on Logic Puzzles

要約

Transformer アーキテクチャを使用した因果言語モデリングは、ここ数年にわたって大規模言語モデル (LLM) に顕著な機能をもたらしてきました。
ただし、LLM 内で基本的な検索機能と推論機能がどの程度出現したかについては、依然として議論が続いています。
この研究では、因果言語モデリングが数独パズルを解くなどの複雑なタスクを学習できるかどうかを研究します。
数独を解くには、モデルはまずパズルのすべての空のセルを検索して埋めるセルを決定し、次に決定されたセルを埋めるために適切な戦略を適用する必要があります。
場合によっては、戦略を適用すると、セルの正確な値が確定せず、セル内の可能な値が間引かれるだけになることがあります。
このような場合、単一のセルを埋めるために複数の戦略が次々に適用されます。
この合成タスクでトレーニングされた Transformer モデルは、ソルバーが実行するステップの論理シーケンスでトレーニングされた場合、実際に Sudoku を解く方法を学習できることが観察されています (私たちのモデルは $94.21\%$ のパズルを完全に正確に解決します)。
私たちは、トランスフォーマーを論理的なステップの順序でトレーニングすることが必要であり、そのようなトレーニングがなければ、トランスフォーマーは数独を学習できないことがわかりました。
また、分析をゼブラ パズル (アインシュタイン パズルとして知られる) に拡張し、モデルがパズルの $92.04 \%$ を完全に正しく解決することを示します。
さらに、トレーニングされた Transformer の内部表現を研究し、線形プローブを通じて、それらから任意のセル内の可能な値のセットに関する情報をデコードできることを発見し、Transformer の重みに暗黙的に含まれる強力な推論エンジンの存在を示しています。
。

要約(オリジナル)

Causal language modeling using the Transformer architecture has yielded remarkable capabilities in Large Language Models (LLMs) over the last few years. However, the extent to which fundamental search and reasoning capabilities emerged within LLMs remains a topic of ongoing debate. In this work, we study if causal language modeling can learn a complex task such as solving Sudoku puzzles. To solve a Sudoku, the model is first required to search over all empty cells of the puzzle to decide on a cell to fill and then apply an appropriate strategy to fill the decided cell. Sometimes, the application of a strategy only results in thinning down the possible values in a cell rather than concluding the exact value of the cell. In such cases, multiple strategies are applied one after the other to fill a single cell. We observe that Transformer models trained on this synthetic task can indeed learn to solve Sudokus (our model solves $94.21\%$ of the puzzles fully correctly) when trained on a logical sequence of steps taken by a solver. We find that training Transformers with the logical sequence of steps is necessary and without such training, they fail to learn Sudoku. We also extend our analysis to Zebra puzzles (known as Einstein puzzles) and show that the model solves $92.04 \%$ of the puzzles fully correctly. In addition, we study the internal representations of the trained Transformer and find that through linear probing, we can decode information about the set of possible values in any given cell from them, pointing to the presence of a strong reasoning engine implicit in the Transformer weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google