AcademicGPT: Empowering Academic Research

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理タスクにわたって優れた機能を実証しています。
ただし、これらの高度な LLM の多くは、広範な汎用アプリケーション向けに調整されています。
この技術レポートでは、学術研究を強化するために特別に設計されたAcademicGPTを紹介します。
AcademicGPT は、LLaMA2-70B から派生した継続的なトレーニング モデルです。
私たちのトレーニング コーパスは主に学術論文、論文、学術分野のコンテンツ、高品質の中国語データなどで構成されています。
データ規模はそれほど大きくないかもしれませんが、AcademicGPT は、研究分野に合わせてカスタマイズされたドメイン固有の GPT への最初の取り組みを示しています。
当社は、MMLU や CEval などのいくつかの確立された公開ベンチマークに加え、PubMedQA、SCIEval、新しく作成された ComputerScienceQA などのいくつかの専門的な学術ベンチマークで AcademicGPT を評価し、一般知識能力から中国語能力、学術レベルまでの能力を実証します。
能力。
AcademicGPT の基礎モデルに基づいて、一般的な学術質問応答、AI 支援による論文読解、論文レビュー、AI 支援によるタイトルと要約の生成など、学術分野に対応したいくつかのアプリケーションも開発しました。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated exceptional capabilities across various natural language processing tasks. Yet, many of these advanced LLMs are tailored for broad, general-purpose applications. In this technical report, we introduce AcademicGPT, designed specifically to empower academic research. AcademicGPT is a continual training model derived from LLaMA2-70B. Our training corpus mainly consists of academic papers, thesis, content from some academic domain, high-quality Chinese data and others. While it may not be extensive in data scale, AcademicGPT marks our initial venture into a domain-specific GPT tailored for research area. We evaluate AcademicGPT on several established public benchmarks such as MMLU and CEval, as well as on some specialized academic benchmarks like PubMedQA, SCIEval, and our newly-created ComputerScienceQA, to demonstrate its ability from general knowledge ability, to Chinese ability, and to academic ability. Building upon AcademicGPT’s foundation model, we also developed several applications catered to the academic area, including General Academic Question Answering, AI-assisted Paper Reading, Paper Review, and AI-assisted Title and Abstract Generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google