Sparks of Artificial General Intelligence: Early experiments with GPT-4

要約

タイトル：GPT-4による初期実験：人工一般知能の火花
要約：

– AI研究者は、様々なドメインやタスクにおいて驚異的な能力を示す大規模言語モデル（LLM）を開発し磨き上げており、これらは我々の学習と認知に関する理解に挑戦している。
– OpenAIによって開発された最新のモデルであるGPT-4は、前例のない規模のコンピューティングとデータを使用してトレーニングされた。
– 本論文では、OpenAIによってまだ開発途中であるGPT-4の初期バージョンに関する調査結果を報告する。
– GPT-4は、「ChatGPT」やGoogleの「PaLM」などのモデルとともに新しいLLMのコホートの一部となり、これまでのAIモデルよりもより一般的な知能を示している。
– GPT-4は、数学、コーディング、ビジョン、医学、法律、心理学など、特別なプロンプトが必要なく、新しくて困難なタスクを解決することができる。
– さらに、これらのすべてのタスクにおいて、GPT-4のパフォーマンスは驚くほど人間レベルに近く、ChatGPTなどの以前のモデルを大幅に上回っている。
– GPT-4の能力の広さと深さを考慮すると、我々はそれを人工一般知能（AGI）システムの早期（まだ完全ではない）バージョンと見なすことができると考えている。
– GPT-4の探索に特に力を入れ、その制限を発見するための取り組みを行い、次の単語の予測を超えた新しいパラダイムを追求する必要がある深くて包括的なAGIのバージョンに向けての未来の課題についても議論している。
– 最後に、最近の技術的飛躍の社会的影響と将来の研究方向についての考察を述べている。

要約(オリジナル)

Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities across a variety of domains and tasks, challenging our understanding of learning and cognition. The latest model developed by OpenAI, GPT-4, was trained using an unprecedented scale of compute and data. In this paper, we report on our investigation of an early version of GPT-4, when it was still in active development by OpenAI. We contend that (this early version of) GPT-4 is part of a new cohort of LLMs (along with ChatGPT and Google’s PaLM for example) that exhibit more general intelligence than previous AI models. We discuss the rising capabilities and implications of these models. We demonstrate that, beyond its mastery of language, GPT-4 can solve novel and difficult tasks that span mathematics, coding, vision, medicine, law, psychology and more, without needing any special prompting. Moreover, in all of these tasks, GPT-4’s performance is strikingly close to human-level performance, and often vastly surpasses prior models such as ChatGPT. Given the breadth and depth of GPT-4’s capabilities, we believe that it could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence (AGI) system. In our exploration of GPT-4, we put special emphasis on discovering its limitations, and we discuss the challenges ahead for advancing towards deeper and more comprehensive versions of AGI, including the possible need for pursuing a new paradigm that moves beyond next-word prediction. We conclude with reflections on societal influences of the recent technological leap and future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI