ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

要約

このホワイトペーパーでは、「Autoregressive Learning for Planning In NEtworks」の略称であるプロジェクト ALPINE の結果を紹介します。
プロジェクト ALPINE は、計画能力の潜在的な制限を特定することを目的として、自己回帰学習メカニズムを介した Transformer ベースの言語モデルの計画能力の開発に関する理論的調査を開始します。
私たちは、計画をネットワーク パス検索タスクとして抽象化します。その目的は、指定されたソース ノードから指定されたターゲット ノードまでの有効なパスを生成することです。
表現力の観点から、Transformer がその重み内に隣接性行列と到達可能性行列を埋め込むことによって経路探索を実行できることを示します。
Transformer の勾配ベースの学習ダイナミクスの理論的分析により、Transformer が隣接行列と制限された形式の到達可能性行列の両方を学習できることが明らかになりました。
これらの理論的な洞察は実験を通じて検証され、Transformer が実際に隣接行列と不完全な到達可能性行列を学習することが実証され、理論分析で行われた予測と一致します。
さらに、Blocksworld と呼ばれる現実世界の計画ベンチマークに私たちの方法論を適用すると、観察結果は一貫したものになります。
私たちの理論的および実証的分析により、パス検索における Transformer の潜在的な制限がさらに明らかになりました。つまり、推移性を通じて到達可能性の関係を特定できないため、パスを生成するためにパスの連結が必要な場合に失敗します。
要約すると、私たちの調査結果は、自己回帰学習の内部メカニズムがネットワークにおける計画をどのように可能にするかについて新たな光を当てました。
この研究は、他の関連領域における一般的な計画能力の理解に貢献する可能性があります。

要約(オリジナル)

In this paper, we present the findings of our Project ALPINE which stands for “Autoregressive Learning for Planning In NEtworks.’ Project ALPINE initiates a theoretical investigation into the development of planning capabilities in Transformer-based language models through their autoregressive learning mechanisms, aiming to identify any potential limitations in their planning abilities. We abstract planning as a network path-finding task where the objective is to generate a valid path from a specified source node to a designated target node. In terms of expressiveness, we show that the Transformer is capable of executing path-finding by embedding the adjacency and reachability matrices within its weights. Our theoretical analysis of the gradient-based learning dynamic of the Transformer reveals that the Transformer is capable of learning both the adjacency matrix and a limited form of the reachability matrix. These theoretical insights are then validated through experiments, which demonstrate that the Transformer indeed learns the adjacency matrix and an incomplete reachability matrix, which aligns with the predictions made in our theoretical analysis. Additionally, when applying our methodology to a real-world planning benchmark, called Blocksworld, our observations remain consistent. Our theoretical and empirical analyses further unveil a potential limitation of Transformer in path-finding: it cannot identify reachability relationships through transitivity, and thus would fail when path concatenation is needed to generate a path. In summary, our findings shed new light on how the internal mechanisms of autoregressive learning enable planning in networks. This study may contribute to our understanding of the general planning capabilities in other related domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google