Sparks of Artificial General Intelligence: Early experiments with GPT-4

要約

人工知能 (AI) の研究者は、学習と認知の理解に挑戦する、さまざまなドメインとタスクにわたって優れた能力を発揮する大規模な言語モデル (LLM) を開発および改良してきました。
OpenAI によって開発された最新のモデルである GPT-4 は、前例のない規模のコンピューティングとデータを使用してトレーニングされました。
このホワイト ペーパーでは、OpenAI によってまだ活発に開発されていた GPT-4 の初期バージョンの調査について報告します。
(この初期バージョンの) GPT-4 は、以前の AI モデルよりも一般的な知性を示す LLM の新しいコホート (ChatGPT や Google の PaLM など) の一部であると私たちは主張します。
これらのモデルの機能の向上とその影響について説明します。
言語の習得を超えて、GPT-4 は数学、コーディング、ビジョン、医学、法律、心理学などにまたがる斬新で困難なタスクを、特別なプロンプトを必要とせずに解決できることを示しています。
さらに、これらすべてのタスクにおいて、GPT-4 のパフォーマンスは人間レベルのパフォーマンスに驚くほど近く、ChatGPT などの以前のモデルを大幅に上回ることがよくあります。
GPT-4 の機能の広さと深さを考えると、GPT-4 は汎用人工知能 (AGI) システムの初期の (まだ不完全な) バージョンと見なすことが合理的であると考えています。
GPT-4 の調査では、その限界を発見することに特に重点を置き、次の単語の予測を超えた新しいパラダイムを追求する必要性の可能性など、AGI のより深く、より包括的なバージョンに向けて前進するための今後の課題について説明します。
.
最後に、最近の技術的飛躍の社会的影響と将来の研究の方向性について考察します。

要約(オリジナル)

Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. The latest model developed by OpenAI, GPT-4, was trained using an unprecedented scale of compute and data. In this paper, we report on our investigation of an early version of GPT-4, when it was still in active development by OpenAI. We contend that (this early version of) GPT-4 is part of a new cohort of LLMs (along with ChatGPT and Google’s PaLM for example) that exhibit more general intelligence than previous AI models. We discuss the rising capabilities and implications of these models. We demonstrate that, beyond its mastery of language, GPT-4 can solve novel and difficult tasks that span mathematics, coding, vision, medicine, law, psychology and more, without needing any special prompting. Moreover, in all of these tasks, GPT-4’s performance is strikingly close to human-level performance, and often vastly surpasses prior models such as ChatGPT. Given the breadth and depth of GPT-4’s capabilities, we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI) system. In our exploration of GPT-4, we put special emphasis on discovering its limitations, and we discuss the challenges ahead for advancing towards deeper and more comprehensive versions of AGI, including the possible need for pursuing a new paradigm that moves beyond next-word prediction. We conclude with reflections on societal influences of the recent technological leap and future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google