Evolution and The Knightian Blindspot of Machine Learning

要約

この論文は、機械学習 (ML) は、オープンワールドにおける定性的に未知の未来に対する堅牢性という、一般知能の重要な側面を大きく見落としていると主張しています。
このような堅牢性は、経済学におけるナイト不確実性 (KU)、つまり定量化できない不確実性に関連しており、ML の主要な形式主義では考慮から除外されます。
この論文は、この盲点を特定し、その重要性を主張し、それに対処するための研究を促進することを目的としています。これは、真に堅牢なオープンワールド AI を作成するために必要であると私たちは考えています。
盲点を明らかにするために、ML の 1 つの領域である強化学習 (RL) を生物学的進化のプロセスと対比させます。
驚異的な進歩を続けているにもかかわらず、RL は依然としてオープンワールドの状況で苦戦しており、予期せぬ状況で失敗することがよくあります。
たとえば、米国のみで訓練された自動運転車政策をゼロショットで英国に移管するというアイデアは、現時点では非常に野心的であるように思えます。
劇的な対照的に、生物学的進化は、開かれた世界の中で繁栄するエージェントを日常的に生み出し、時には著しく分布から外れた状況（例えば、侵略的種や、そのようなゼロショットの国際運転を行う人間）にさえも生み出します。
興味深いことに、進化論は、明示的な理論、形式主義、または数学的勾配を必要とせずに、このような堅牢性を達成します。
私たちは、RL の典型的な形式主義の根底にある仮定を調査し、それらの仮定が、絶えず変化する複雑な世界の特徴である未知の未知への RL の関与をどのように制限するかを示します。
さらに、進化のプロセスが斬新で予測不可能な課題に対する堅牢性を促進するメカニズムを特定し、それらをアルゴリズム的に具体化するための潜在的な経路について議論します。
結論は、ML に残された興味深い脆弱性はその形式上の盲点に起因する可能性があり、KU の課題と直接対決することで大きな成果が得られる可能性がある、というものです。

要約(オリジナル)

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML’s key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL’s typical formalisms, showing how they limit RL’s engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google