Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo

要約

人工知能と自然言語処理の急速な進歩により、機械学習モデルの性能ベンチマークを目的とした大規模データセットの開発が進んでいる。ここでは、網状化学の領域におけるこのようなモデルの能力を評価するために設計された包括的なベンチマークデータセットである「RetChemQA」を紹介する。このデータセットには、シングルホップとマルチホップの質問と回答のペアが含まれており、それぞれのタイプについて約45,000のQ&Aが含まれている。質問は、NAS、ACS、RSC、Elsevier、Nature Publishing Groupなどの出版社による約2,530の研究論文を含む広範な文献コーパスから抽出された。このデータセットは、OpenAIのGPT-4 Turboを使用して生成されました。GPT-4 Turboは、卓越した言語理解と生成能力で知られる最先端モデルです。Q&Aデータセットに加えて、本研究で使用した文献コーパスから抽出した合成条件のデータセットも公開している。RetChemQAの目的は、先進的な機械学習アルゴリズムの開発と評価のための堅牢なプラットフォームを、特に網状化学のコミュニティに提供することである。このデータセットは、実世界の科学的言説の複雑さとニュアンスを反映するように構成されており、それによって様々なタスクにわたってニュアンスのある性能評価が可能となっている。データセットは以下のリンクから入手可能： https://github.com/nakulrampal/RetChemQA

要約(オリジナル)

The rapid advancement in artificial intelligence and natural language processing has led to the development of large-scale datasets aimed at benchmarking the performance of machine learning models. Herein, we introduce ‘RetChemQA,’ a comprehensive benchmark dataset designed to evaluate the capabilities of such models in the domain of reticular chemistry. This dataset includes both single-hop and multi-hop question-answer pairs, encompassing approximately 45,000 Q&As for each type. The questions have been extracted from an extensive corpus of literature containing about 2,530 research papers from publishers including NAS, ACS, RSC, Elsevier, and Nature Publishing Group, among others. The dataset has been generated using OpenAI’s GPT-4 Turbo, a cutting-edge model known for its exceptional language understanding and generation capabilities. In addition to the Q&A dataset, we also release a dataset of synthesis conditions extracted from the corpus of literature used in this study. The aim of RetChemQA is to provide a robust platform for the development and evaluation of advanced machine learning algorithms, particularly for the reticular chemistry community. The dataset is structured to reflect the complexities and nuances of real-world scientific discourse, thereby enabling nuanced performance assessments across a variety of tasks. The dataset is available at the following link: https://github.com/nakulrampal/RetChemQA

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL