Open-Endedness is Essential for Artificial Superhuman Intelligence

要約

近年、AI システムの一般的な機能は大幅に向上しており、主にインターネット規模のデータで基礎モデルをトレーニングすることによって促進されています。
それにもかかわらず、オープンエンドで常に自己改善する AI の作成は依然としてとらえどころのないものです。
この意見書では、人間の観察者に関して AI システムのオープンエンド性を実現するための要素が整っていると主張します。
さらに、そのようなオープンエンド性はあらゆる人工超人知能 (ASI) の必須の特性であると私たちは主張します。
まず、新規性と学習可能性のレンズを通して、オープンエンド性の具体的な正式な定義を提供します。
次に、基礎モデルの上に構築され、人間に関連した斬新な発見を可能にするオープンエンド システムを介した ASI への道を説明します。
最後に、一般的に機能するオープンエンド型 AI の安全性への影響を検討します。
私たちは、近い将来、オープンエンド基礎モデルがますます豊かで安全性が重要な研究分野となることが判明すると予想しています。

要約(オリジナル)

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google