SciER: An Entity and Relation Extraction Dataset for Datasets, Methods, and Tasks in Scientific Documents

要約

科学情報抽出 (SciIE) は、学術論文からの非構造化知識を構造化データ (エンティティと関係) に変換するために重要です。
SciIE モデルのトレーニングと検証のために、いくつかのデータセットが提案されています。
ただし、科学テキストに注釈を付けるのは非常に複雑でコストがかかるため、これらのデータセットでは注釈が抄録など論文の特定の部分に限定されており、その結果、文脈内の多様な実体の言及や関係が失われます。
この論文では、科学論文のデータセット、メソッド、タスクに関連するエンティティのための新しいエンティティおよび関係抽出データセットをリリースします。
私たちのデータセットには、24,000 を超えるエンティティと 12,000 の関係を含む、手動で注釈が付けられた 106 件の科学出版物全文が含まれています。
エンティティ間の複雑な使用と相互作用を全文でキャプチャするために、データセットには関係のためのきめ細かいタグ セットが含まれています。
さらに、より現実的な評価を提供するために、非配布のテスト セットも提供しています。
私たちは、最先端の教師ありモデルや提案する LLM ベースのベースラインを含む包括的な実験を実施し、データセットによってもたらされる課題を明らかにし、SciIE の分野を発展させる革新的なモデルの開発を奨励します。

要約(オリジナル)

Scientific information extraction (SciIE) is critical for converting unstructured knowledge from scholarly articles into structured data (entities and relations). Several datasets have been proposed for training and validating SciIE models. However, due to the high complexity and cost of annotating scientific texts, those datasets restrict their annotations to specific parts of paper, such as abstracts, resulting in the loss of diverse entity mentions and relations in context. In this paper, we release a new entity and relation extraction dataset for entities related to datasets, methods, and tasks in scientific articles. Our dataset contains 106 manually annotated full-text scientific publications with over 24k entities and 12k relations. To capture the intricate use and interactions among entities in full texts, our dataset contains a fine-grained tag set for relations. Additionally, we provide an out-of-distribution test set to offer a more realistic evaluation. We conduct comprehensive experiments, including state-of-the-art supervised models and our proposed LLM-based baselines, and highlight the challenges presented by our dataset, encouraging the development of innovative models to further the field of SciIE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google