Do Two AI Scientists Agree?

要約

同じ科学的課題に対して2つのAIモデルを学習させた場合、両者は同じ理論を学習するのか、それとも2つの異なる理論を学習するのか？科学の歴史を通じて、我々は実験による検証や反証によって理論が盛衰するのを目撃してきた。実験データが不足しているときには多くの理論が共存しうるが、実験データが増えるにつれて、生き残る理論の空間はより狭くなっていく。同じ話がAI科学者にも当てはまることを示す。学習データで提供されるシステムの数が増えるにつれて、AI科学者は学習した理論に収束する傾向があるが、時には異なる理論に対応する別個のグループを形成することもある。AI科学者がどのような理論を学習したかを機械的に解釈し、その一致を定量化するために、我々は、AI科学者としてのハミルトニアン-ラグランジアンニューラルネットワークMASSを提案し、物理学の標準的な問題で訓練し、AI科学者の異なる構成をシミュレートする多数のシードにわたって訓練結果を集約する。我々の発見は、AI科学者が、より複雑な系が導入されたとき、単純な設定におけるハミルトニアン理論の学習からラグランジアン定式化の学習に切り替わることを示唆している。また、学習ダイナミクスと最終的な学習重みの強いシード依存性を観測し、関連する理論の上昇と下降を制御する。最後に、我々のニューラルネットワークが解釈可能性を助けるだけでなく、より高次元の問題にも適用できることを示す。

要約(オリジナル)

When two AI models are trained on the same scientific task, do they learn the same theory or two different theories? Throughout history of science, we have witnessed the rise and fall of theories driven by experimental validation or falsification: many theories may co-exist when experimental data is lacking, but the space of survived theories become more constrained with more experimental data becoming available. We show the same story is true for AI scientists. With increasingly more systems provided in training data, AI scientists tend to converge in the theories they learned, although sometimes they form distinct groups corresponding to different theories. To mechanistically interpret what theories AI scientists learn and quantify their agreement, we propose MASS, Hamiltonian-Lagrangian neural networks as AI Scientists, trained on standard problems in physics, aggregating training results across many seeds simulating the different configurations of AI scientists. Our findings suggests for AI scientists switch from learning a Hamiltonian theory in simple setups to a Lagrangian formulation when more complex systems are introduced. We also observe strong seed dependence of the training dynamics and final learned weights, controlling the rise and fall of relevant theories. We finally demonstrate that not only can our neural networks aid interpretability, it can also be applied to higher dimensional problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL