要約
この論文では、ChatGPT 関連 (GPT-3.5 および GPT-4) 研究、GPT シリーズの最先端の大規模言語モデル (LLM)、および多様なドメインにわたるそれらの将来の応用についての包括的な調査を紹介します。
実際、ワールド ワイド ウェブ全体の知識を取り込む大規模な事前トレーニング、命令の微調整、ヒューマン フィードバックからの強化学習 (RLHF) などの主要なイノベーションは、LLM の適応性とパフォーマンスの向上に重要な役割を果たしています。
私たちは、傾向分析、ワード クラウド表現、さまざまなアプリケーション ドメインにわたる分布分析を含む、arXiv に関する 194 件の関連論文の詳細な分析を実行しました。
この調査結果は、主に直接的な自然言語処理アプリケーションを中心とした ChatGPT 関連研究への関心が大きく高まっていることを明らかにすると同時に、教育や歴史から数学、医学、物理学に至るまでの分野で大きな可能性があることも示しています。
この研究は、ChatGPT の機能、潜在的な影響、倫理的懸念についての洞察を提供し、この分野の将来の進歩の方向性を提供することを目的としています。
要約(オリジナル)
This paper presents a comprehensive survey of ChatGPT-related (GPT-3.5 and GPT-4) research, state-of-the-art large language models (LLM) from the GPT series, and their prospective applications across diverse domains. Indeed, key innovations such as large-scale pre-training that captures knowledge across the entire world wide web, instruction fine-tuning and Reinforcement Learning from Human Feedback (RLHF) have played significant roles in enhancing LLMs’ adaptability and performance. We performed an in-depth analysis of 194 relevant papers on arXiv, encompassing trend analysis, word cloud representation, and distribution analysis across various application domains. The findings reveal a significant and increasing interest in ChatGPT-related research, predominantly centered on direct natural language processing applications, while also demonstrating considerable potential in areas ranging from education and history to mathematics, medicine, and physics. This study endeavors to furnish insights into ChatGPT’s capabilities, potential implications, ethical concerns, and offer direction for future advancements in this field.
arxiv情報
| 著者 | Yiheng Liu,Tianle Han,Siyuan Ma,Jiayue Zhang,Yuanyuan Yang,Jiaming Tian,Hao He,Antong Li,Mengshen He,Zhengliang Liu,Zihao Wu,Lin Zhao,Dajiang Zhu,Xiang Li,Ning Qiang,Dingang Shen,Tianming Liu,Bao Ge |
| 発行日 | 2023-08-22 03:18:43+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google