Multiscale Causal Learning

要約

生物学的知性は人工知能（AI）よりもサンプル効率が高く、より少ないサンプルから学習する。その理由を説明しよう。データが与えられたとき、データに完全に適合するため「正しい」と思われる方針が数多く存在する可能性がある。しかし、実際にデータを引き起こした可能性のある正しい方針は1つしかない。標本効率には、それを見分ける手段が必要です。これまでの研究で、サンプル効率は弱政策最適化（WPO）によって最大化されることが示されている。つまり、有限の資源がある限り、正しいと考えられるものをより弱く制約する政策を好むのである。生物学のサンプル効率は、WPOの方が優れていることを示している。その方法を理解するために、生物学的システムで観察される「マルチスケール・コンピテンシー・アーキテクチャー」（MCA）を、入れ子状になった「エージェント抽象化層」のシーケンスとして定式化する。低レベルのWPOが、高レベルの弱いポリシーの合成を可能にすることを示す。我々はこれを「多因果学習（multiscale-causal-learning）」と呼び、よりスケール可能でサンプル効率が良く、信頼性の高いAIを構築する方法であると主張する。さらに、低レベルで十分に弱いポリシーは、高レベルでの集団的ポリシーの前提条件となる。低レベルで十分に弱いポリシーが使われると、集団の高次元の「アイデンティティ」が失われる（例えば、細胞は集団の情報構造から孤立し、原始的な行動に戻るかもしれない）。これは生物学、機械学習、AIの安全性、哲学に影響を与える。

要約(オリジナル)

Biological intelligence is more sample-efficient than artificial intelligence (AI), learning from fewer examples. Here we answer why. Given data, there can be many policies which seem ‘correct’ because they perfectly fit the data. However, only one correct policy could have actually caused the data. Sample-efficiency requires a means of discerning which. Previous work showed sample efficiency is maximised by weak-policy-optimisation (WPO); preferring policies that more weakly constrain what is considered to be correct, given finite resources. Biology’s sample-efficiency demonstrates it is better at WPO. To understand how, we formalise the ‘multiscale-competency-architecture’ (MCA) observed in biological systems, as a sequence of nested ‘agentic-abstraction-layers’. We show that WPO at low levels enables synthesis of weaker policies at high. We call this ‘multiscale-causal-learning’, and argue this is how we might construct more scale-able, sample-efficient and reliable AI. Furthermore, a sufficiently weak policy at low levels is a precondition of collective policy at higher levels. The higher level ‘identity’ of the collective is lost if lower levels use an insufficiently weak policy (e.g. cells may become isolated from the collective informational structure and revert to primitive behaviour). This has implications for biology, machine learning, AI-safety, and philosophy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL