Evaluation of GPT and BERT-based models on identifying protein-protein interactions in biomedical text

要約

タンパク質間相互作用 (PPI) の検出は、遺伝的メカニズム、疾患の病因、および薬剤設計を理解するために重要です。
しかし、生物医学文献の急速な成長に伴い、科学的知識の発見を促進するために PPI を自動かつ正確に抽出する必要性が高まっています。
生成事前トレーニング変換器 (GPT) や変換器からの双方向エンコーダー表現 (BERT) などの事前トレーニング済み言語モデルは、自然言語処理 (NLP) タスクにおいて有望な結果を示しています。
私たちは、手動で精選された 3 つのゴールドスタンダード コーパスを使用して、複数の GPT および BERT モデルの PPI 同定のパフォーマンスを評価しました。 77 文に 164 PPI を含む Learning Language in Logic (LLL)、145 文に 163 PPI を含むヒトタンパク質参照データベース、およびインタラクション抽出
486 文で 335 PPI によるパフォーマンス評価。
BERT ベースのモデルは最高の全体的なパフォーマンスを達成し、BioBERT は最高の再現率 (91.95%) と F1 スコア (86.84%) を達成し、PubMedBERT は最高の精度 (85.25%) を達成しました。
興味深いことに、GPT-4 は生物医学テキスト用に明示的にトレーニングされていないにもかかわらず、最高のパフォーマンスを誇る BERT モデルに匹敵する賞賛に値するパフォーマンスを達成しました。
LLL データセットでは、精度 88.37%、再現率 85.14%、F1 スコア 86.49% を達成しました。
これらの結果は、GPT モデルがテキスト データから PPI を効果的に検出でき、生物医学文献マイニングへの応用に有望な道を提供できることを示唆しています。
今後の研究では、生物医学領域内のさらに特殊なタスクに向けてこれらのモデルをどのように微調整できるかを調査する可能性があります。

要約(オリジナル)

Detecting protein-protein interactions (PPIs) is crucial for understanding genetic mechanisms, disease pathogenesis, and drug design. However, with the fast-paced growth of biomedical literature, there is a growing need for automated and accurate extraction of PPIs to facilitate scientific knowledge discovery. Pre-trained language models, such as generative pre-trained transformers (GPT) and bidirectional encoder representations from transformers (BERT), have shown promising results in natural language processing (NLP) tasks. We evaluated the performance of PPI identification of multiple GPT and BERT models using three manually curated gold-standard corpora: Learning Language in Logic (LLL) with 164 PPIs in 77 sentences, Human Protein Reference Database with 163 PPIs in 145 sentences, and Interaction Extraction Performance Assessment with 335 PPIs in 486 sentences. BERT-based models achieved the best overall performance, with BioBERT achieving the highest recall (91.95%) and F1-score (86.84%) and PubMedBERT achieving the highest precision (85.25%). Interestingly, despite not being explicitly trained for biomedical texts, GPT-4 achieved commendable performance, comparable to the top-performing BERT models. It achieved a precision of 88.37%, a recall of 85.14%, and an F1-score of 86.49% on the LLL dataset. These results suggest that GPT models can effectively detect PPIs from text data, offering promising avenues for application in biomedical literature mining. Further research could explore how these models might be fine-tuned for even more specialized tasks within the biomedical domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google