MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows

要約

科学的イノベーションは詳細なワークフローに依存しており、これには文献の分析、アイデアの生成、アイデアの検証、結果の解釈、追跡調査の促進などの重要なステップが含まれます。
ただし、これらのワークフローを文書化した科学出版物は膨大で、構造化されていません。
このため、人間の研究者と AI システムの両方が科学革新の空間を効果的にナビゲートして探索することが困難になります。
この問題に対処するために、科学的ワークフローの多面的要約に関する包括的なテキスト データセットである MASSW を紹介します。
MASSW には、過去 50 年間にわたる 17 の主要なコンピューター サイエンス会議からの 152,000 を超える査読済み出版物が含まれています。
大規模言語モデル (LLM) を使用して、研究ワークフローの 5 つの主要なステップに対応する 5 つの主要な側面 (コンテキスト、重要なアイデア、方法、結果、予測される影響) をこれらの出版物から自動的に抽出します。
これらの構造化された概要により、さまざまな下流のタスクと分析が容易になります。
LLM で抽出された概要の品質は、人間による注釈と比較することで検証されます。
この新しいデータセットを使用してベンチマークできる複数の新しい機械学習タスクを通じて、MASSW の有用性を実証します。これらのタスクは、科学的ワークフローに沿ってさまざまなタイプの予測と推奨を行います。
MASSW は、研究者が科学ワークフローを最適化し、現場での科学革新を促進するための新しい AI 手法を作成し、ベンチマークするための大きな可能性を秘めています。
私たちのデータセットは \url{https://github.com/xingjian-zhang/massw} で公開されています。

要約(オリジナル)

Scientific innovation relies on detailed workflows, which include critical steps such as analyzing literature, generating ideas, validating these ideas, interpreting results, and inspiring follow-up research. However, scientific publications that document these workflows are extensive and unstructured. This makes it difficult for both human researchers and AI systems to effectively navigate and explore the space of scientific innovation. To address this issue, we introduce MASSW, a comprehensive text dataset on Multi-Aspect Summarization of Scientific Workflows. MASSW includes more than 152,000 peer-reviewed publications from 17 leading computer science conferences spanning the past 50 years. Using Large Language Models (LLMs), we automatically extract five core aspects from these publications — context, key idea, method, outcome, and projected impact — which correspond to five key steps in the research workflow. These structured summaries facilitate a variety of downstream tasks and analyses. The quality of the LLM-extracted summaries is validated by comparing them with human annotations. We demonstrate the utility of MASSW through multiple novel machine-learning tasks that can be benchmarked using this new dataset, which make various types of predictions and recommendations along the scientific workflow. MASSW holds significant potential for researchers to create and benchmark new AI methods for optimizing scientific workflows and fostering scientific innovation in the field. Our dataset is openly available at \url{https://github.com/xingjian-zhang/massw}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google