Sparks of Artificial General Intelligence: Early experiments with GPT-4

要約

【タイトル】
GPT-4を用いた人工汎用知能の始まりの実験

【要約】
・AI研究者たちは、言語モデルを開発し、学習や認知に関する理解を問いただしている。
・OpenAIが開発した最新のモデル、GPT-4は、前例のない計算規模とデータで訓練された。
・本論文では、OpenAIが開発中のGPT-4の初期バージョンに関する研究を報告する。
・GPT-4は、ChatGPTやGoogleのPaLMなどの言語モデルとともに、以前のAIモデルよりもより一般的な知能を示している。
・言語の熟練度に加えて、GPT-4は数学、プログラミング、ビジョン、医学、法律、心理学などにまたがる新しい・難しいタスクを特別な手引きなしで解決でき、人間レベルに近い性能を持つ。
・GPT-4の能力の広さと深さから、GPT-4は人工汎用知能（AGI）システムの早期（まだ不十分な）バージョンと見なされる可能性がある。
・本研究では、GPT-4の限界を発見することに重点を置いており、次の単語予測を超える新しいパラダイムを追求する必要のあるより深い、包括的なAGIの進歩に向けた課題についても議論している。
・最近の技術的な飛躍の社会的影響と将来的な研究の方向性について、本論文は締めくくられている。

要約(オリジナル)

Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. The latest model developed by OpenAI, GPT-4, was trained using an unprecedented scale of compute and data. In this paper, we report on our investigation of an early version of GPT-4, when it was still in active development by OpenAI. We contend that (this early version of) GPT-4 is part of a new cohort of LLMs (along with ChatGPT and Google’s PaLM for example) that exhibit more general intelligence than previous AI models. We discuss the rising capabilities and implications of these models. We demonstrate that, beyond its mastery of language, GPT-4 can solve novel and difficult tasks that span mathematics, coding, vision, medicine, law, psychology and more, without needing any special prompting. Moreover, in all of these tasks, GPT-4’s performance is strikingly close to human-level performance, and often vastly surpasses prior models such as ChatGPT. Given the breadth and depth of GPT-4’s capabilities, we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI) system. In our exploration of GPT-4, we put special emphasis on discovering its limitations, and we discuss the challenges ahead for advancing towards deeper and more comprehensive versions of AGI, including the possible need for pursuing a new paradigm that moves beyond next-word prediction. We conclude with reflections on societal influences of the recent technological leap and future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI