NSF-SciFy: Mining the NSF Awards Database for Scientific Claims

要約

NSF-Scifeは、50年に及ぶ40万を超える助成金の要約を含む、National Science Foundation（NSF）Awardsデータベースから派生した科学的請求抽出のための大規模なデータセットであるNSF-Scifyを紹介します。
以前のデータセットは公開された文献に依存していましたが、ユニークな利点を提供するグラントアブストラクトを活用しています。彼らは、出版前に研究ライフサイクルの初期の段階でクレームを獲得します。
また、既存の科学的主張と提案における野心的な研究の意図を区別するための新しいタスクを紹介します。フロンティアの大規模な言語モデルとのゼロショットプロンプトを使用して、材料科学ドメインの16Kグラントアブストラクトから114K科学的主張と145kの調査提案を共同で抽出し、NSF-サイズマツシと呼ばれるフォーカスサブセットを作成します。
このデータセットを使用して、3つの3つの重要なタスクを評価します。（1）技術から非技術的な抽象的な生成、モデルが高バートスコア（0.85+ F1）を達成します。
（2）微調整されたモデルが100％相対的な改善によりベースモデルを上回る科学的請求抽出。
（3）調査提案の抽出、微調整による90％以上の改善を示しています。
請求/提案抽出品質の堅牢な評価のための新しいLLMベースの評価メトリックを紹介します。
NSFによって資金提供されたすべてのSTEM分野にわたって推定280万の請求により、これまでの最大の科学的請求データセットとして、NSF-Scifeは、請求検証とメタ科学的研究の新しい機会を可能にします。
さらなる研究を促進するために、すべてのデータセット、トレーニングモデル、および評価コードを公開します。

要約(オリジナル)

We present NSF-SciFy, a large-scale dataset for scientific claim extraction derived from the National Science Foundation (NSF) awards database, comprising over 400K grant abstracts spanning five decades. While previous datasets relied on published literature, we leverage grant abstracts which offer a unique advantage: they capture claims at an earlier stage in the research lifecycle before publication takes effect. We also introduce a new task to distinguish between existing scientific claims and aspirational research intentions in proposals.Using zero-shot prompting with frontier large language models, we jointly extract 114K scientific claims and 145K investigation proposals from 16K grant abstracts in the materials science domain to create a focused subset called NSF-SciFy-MatSci. We use this dataset to evaluate 3 three key tasks: (1) technical to non-technical abstract generation, where models achieve high BERTScore (0.85+ F1); (2) scientific claim extraction, where fine-tuned models outperform base models by 100% relative improvement; and (3) investigation proposal extraction, showing 90%+ improvement with fine-tuning. We introduce novel LLM-based evaluation metrics for robust assessment of claim/proposal extraction quality. As the largest scientific claim dataset to date — with an estimated 2.8 million claims across all STEM disciplines funded by the NSF — NSF-SciFy enables new opportunities for claim verification and meta-scientific research. We publicly release all datasets, trained models, and evaluation code to facilitate further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google