LifeGPT: Topology-Agnostic Generative Pretrained Transformer Model for Cellular Automata

要約

Conway のライフ ゲーム (Life) は、セル オートマトン (CA) の広範なクラス内でよく知られたアルゴリズムであり、初期条件に対して非常に敏感な複雑な創発ダイナミクスを示します。
システムの基礎となるトポロジに関する明示的な知識なしにこのような複雑な動作をモデル化および予測することは大きな課題であり、さまざまなグリッド構成や境界条件にわたって一般化できるアルゴリズムの開発の動機となります。
この問題を解決するために、デコーダ専用の生成事前学習変換器 (GPT) モデルを開発しました。このモデルは、グリッドのサイズやその周期的境界条件 (LifeGPT) に関する事前知識がなくても、トロイダル グリッド上の Life をシミュレートできることを示しています。
LifeGPT はトレーニング データに関してトポロジーに依存せず、十分に多様なトレーニング データが与えられた場合、GPT モデルはほぼ完璧な精度でチューリング完全システムの決定論的規則を捕捉できることが、我々の結果で示されています。
また、LifeGPT を使用して Life を再帰的に実装するための「自己回帰自己回帰関数」のアイデアも紹介します。
私たちの結果は、大規模な言語モデルのフレームワーク内での真の普遍的な計算、数学的分析と自然言語処理の合成、およびアルゴリズムを計算することなくそのようなアルゴリズムの進化に関する状況認識を AI システムで調査することへの道を切り開きます。
同様の GPT は、現実世界の生物学的システムから CA 互換のルールセットを抽出して新しい予測モデルを作成することにより、多細胞の自己組織化における逆問題を解決できる可能性があり、これは生体からインスピレーションを得た材料、組織工学、および建築材料設計の分野に重大な影響を与える可能性があります。

要約(オリジナル)

Conway’s Game of Life (Life), a well known algorithm within the broader class of cellular automata (CA), exhibits complex emergent dynamics, with extreme sensitivity to initial conditions. Modeling and predicting such intricate behavior without explicit knowledge of the system’s underlying topology presents a significant challenge, motivating the development of algorithms that can generalize across various grid configurations and boundary conditions. We develop a decoder-only generative pretrained transformer (GPT) model to solve this problem, showing that our model can simulate Life on a toroidal grid with no prior knowledge on the size of the grid, or its periodic boundary conditions (LifeGPT). LifeGPT is topology-agnostic with respect to its training data and our results show that a GPT model is capable of capturing the deterministic rules of a Turing-complete system with near-perfect accuracy, given sufficiently diverse training data. We also introduce the idea of an `autoregressive autoregressor’ to recursively implement Life using LifeGPT. Our results pave the path towards true universal computation within a large language model framework, synthesizing of mathematical analysis with natural language processing, and probing AI systems for situational awareness about the evolution of such algorithms without ever having to compute them. Similar GPTs could potentially solve inverse problems in multicellular self-assembly by extracting CA-compatible rulesets from real-world biological systems to create new predictive models, which would have significant consequences for the fields of bioinspired materials, tissue engineering, and architected materials design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google