Embedding Models for Supervised Automatic Extraction and Classification of Named Entities in Scientific Acknowledgements

要約

科学論文の謝辞は、報酬システム、コラボレーション パターン、隠れた研究傾向など、科学コミュニティの側面についての洞察を与える可能性があります。
この論文の目的は、科学論文の謝辞テキストから承認されたエンティティを自動的に抽出および分類するタスクに対するさまざまな埋め込みモデルのパフォーマンスを評価することです。
Flair NLP フレームワークを使用して、固有表現認識 (NER) タスクをトレーニングし、実装しました。
トレーニングは、4 つの異なるサイズのコーパスと異なるバージョンの Flair NLP フレームワークを備えた 3 つのデフォルトの Flair NER モデルを使用して実施されました。
最新の FLAIR バージョンを使用して中程度のコーパスでトレーニングされた Flair Embeddings モデルは、0.79 という最高の精度を示しました。
トレーニング コーパスのサイズを非常に小さいサイズから中程度のサイズに拡張すると、すべてのトレーニング アルゴリズムの精度が大幅に向上しましたが、トレーニング コーパスをさらに拡張してもさらなる改善はもたらされませんでした。
また、モデルの性能も若干低下しました。
私たちのモデルは、資金提供機関、助成金番号、個人、大学、企業、その他の 6 つのエンティティ タイプを認識できます。
モデルは、一部のエンティティ タイプでは他のエンティティ タイプよりも正確に機能します。
したがって、個人と助成金番号は 0.9 を超える非常に優れた F1 スコアを示しました。
承認分析に関するこれまでの研究のほとんどは、データの手動評価によって制限され、したがって処理されるデータの量によって制限されていました。
このモデルは、承認テキストの包括的な分析に適用でき、自動承認分析の分野に大きく貢献する可能性があります。

要約(オリジナル)

Acknowledgments in scientific papers may give an insight into aspects of the scientific community, such as reward systems, collaboration patterns, and hidden research trends. The aim of the paper is to evaluate the performance of different embedding models for the task of automatic extraction and classification of acknowledged entities from the acknowledgment text in scientific papers. We trained and implemented a named entity recognition (NER) task using the Flair NLP framework. The training was conducted using three default Flair NER models with four differently-sized corpora and different versions of the Flair NLP framework. The Flair Embeddings model trained on the medium corpus with the latest FLAIR version showed the best accuracy of 0.79. Expanding the size of a training corpus from very small to medium size massively increased the accuracy of all training algorithms, but further expansion of the training corpus did not bring further improvement. Moreover, the performance of the model slightly deteriorated. Our model is able to recognize six entity types: funding agency, grant number, individuals, university, corporation, and miscellaneous. The model works more precisely for some entity types than for others; thus, individuals and grant numbers showed a very good F1-Score over 0.9. Most of the previous works on acknowledgment analysis were limited by the manual evaluation of data and therefore by the amount of processed data. This model can be applied for the comprehensive analysis of acknowledgment texts and may potentially make a great contribution to the field of automated acknowledgment analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google