Artificial Scientific Discovery

要約

過去10年にわたる深い学習の爆発に根ざしたこの論文は、アルファゴからチャットグプトに及び、人工科学者のビジョンを実現するために必要な基本的な概念を経験的に調べるために、元の研究を自律的に生成し、人間の知識の拡大に貢献する能力を持つ機械を経験的に調べます。
調査は、Othelloの知識をゼロから発見したが、それを伝えることができないAlphagoゼロのようなエージェントであるOlivawから始まります。
この実現は、説明学習（EL）フレームワークの開発につながります。これは、仲間に新しい現象を説明しようとするときに科学者が直面する問題の形式化です。
効果的なEL処方により、科学的努力をシミュレートする人気のあるボードゲームであるZendoをクラックできます。
この成功には根本的な洞察が伴います。人工科学者は、その発見を説明するために使用される言語の独自の解釈を開発しなければならず、既存の硬い通訳者に依存することはありません。
通訳を学ぶプロセスそのものに疑問を呈して、私たちは現代のマルチモーダルモデルの内的機能に注意を向けます。
これは、解釈と知覚が明示的に解き放たれているクリップのようなモデルを構築するという単純なアイデアで頂点に達します。これは、少ないマルチモーダルデータとさらなるトレーニングを使用して2つの単峰性モデルを結びつける費用対効果の高いアプローチです。
最後に、ChatGptとその兄弟が人工科学者になるためにまだ欠けていることを議論し、Big-Benchシンボル解釈タスクを紹介します。これは、人間によって完全に解決されながらLLMが乱数を超えないことを見るゼンドのような説明を解釈することに関するベンチマークです。

要約(オリジナル)

Rooted in the explosion of deep learning over the past decade, this thesis spans from AlphaGo to ChatGPT to empirically examine the fundamental concepts needed to realize the vision of an artificial scientist: a machine with the capacity to autonomously generate original research and contribute to the expansion of human knowledge. The investigation begins with Olivaw, an AlphaGo Zero-like agent that discovers Othello knowledge from scratch but is unable to communicate it. This realization leads to the development of the Explanatory Learning (EL) framework, a formalization of the problem faced by a scientist when trying to explain a new phenomenon to their peers. The effective EL prescriptions allow us to crack Zendo, a popular board game simulating the scientific endeavor. This success comes with a fundamental insight: an artificial scientist must develop its own interpretation of the language used to explain its findings, and not rely on a rigid existing interpreter. Questioning the very process of learning an interpreter, we turn our attention to the inner functioning of modern multimodal models. This culminates in a simple idea to build CLIP-like models where interpretation and perception are explicitly disentangled: a cost-effective approach that couples two unimodal models using little multimodal data and no further training. Finally, we discuss what ChatGPT and its siblings are still missing to become artificial scientists, and introduce the Big-Bench Symbol Interpretation Task, a benchmark about interpreting Zendo-like explanations that sees LLMs going no further than random chance while being instead fully solved by humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google