Using Large Language Models to Automate Category and Trend Analysis of Scientific Articles: An Application in Ophthalmology

要約

目的: このペーパーでは、Large Language Model (LLM) の機能を活用した記事分類の自動化方法を紹介します。
主に眼科の分野に焦点を当てていますが、このモデルは他の分野にも拡張可能です。
方法: 高度な LLM を含む自然言語処理 (NLP) 技術に基づいて、科学論文のテキスト内容を処理および分析するモデルを開発しました。
具体的には、ゼロショット学習 (ZSL) LLM モデルを採用し、双方向自動回帰トランスフォーマー (BART) とそのバリアント、トランスフォーマーからの双方向エンコーダー表現 (BERT) とそのバリアント (distilBERT、SciBERT、PubmedBERT など) と比較しました。
、バイオバート。
結果: 分類結果は、人間の介入なしに多数の眼科論文を分類する際の LLM の有効性を示しています。
結果: LLM を評価するために、6 人の専門家からなるパネルによって 15 の異なるカテゴリーに専門的に注釈が付けられた 1,000 件の眼疾患関連記事のデータセット (RenD) を編集しました。
RenD データセットに基づいて、モデルは平均精度 0.86 と平均 F1 0.85 を達成しました。
結論: 提案されたフレームワークは、精度と効率の両方において顕著な改善を達成します。
眼科分野でのその応用は、他の分野でも知識の整理と検索の可能性を示しています。
研究者や臨床医が関連する論文を簡単に分類して検索できるようにする傾向分析を実行し、文献レビューや情報収集、またさまざまな分野における新たな科学トレンドの特定にかかる時間と労力を節約しました。
さらに、このモデルは他の科学分野にも拡張できるため、さまざまな分野にわたる研究や傾向分析の促進にその影響が広がります。

要約(オリジナル)

Purpose: In this paper, we present an automated method for article classification, leveraging the power of Large Language Models (LLM). The primary focus is on the field of ophthalmology, but the model is extendable to other fields. Methods: We have developed a model based on Natural Language Processing (NLP) techniques, including advanced LLMs, to process and analyze the textual content of scientific papers. Specifically, we have employed zero-shot learning (ZSL) LLM models and compared against Bidirectional and Auto-Regressive Transformers (BART) and its variants, and Bidirectional Encoder Representations from Transformers (BERT), and its variant such as distilBERT, SciBERT, PubmedBERT, BioBERT. Results: The classification results demonstrate the effectiveness of LLMs in categorizing large number of ophthalmology papers without human intervention. Results: To evalute the LLMs, we compiled a dataset (RenD) of 1000 ocular disease-related articles, which were expertly annotated by a panel of six specialists into 15 distinct categories. The model achieved mean accuracy of 0.86 and mean F1 of 0.85 based on the RenD dataset. Conclusion: The proposed framework achieves notable improvements in both accuracy and efficiency. Its application in the domain of ophthalmology showcases its potential for knowledge organization and retrieval in other domains too. We performed trend analysis that enables the researchers and clinicians to easily categorize and retrieve relevant papers, saving time and effort in literature review and information gathering as well as identification of emerging scientific trends within different disciplines. Moreover, the extendibility of the model to other scientific fields broadens its impact in facilitating research and trend analysis across diverse disciplines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google