Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction

要約

生物医学文献からの自動関係抽出（RE）は、毎年生み出される膨大な量の科学知識を管理するために不可欠である。近年、REにおいては、事前に訓練された言語モデル（PLM）の利用が一般的なアプローチとなっている。いくつかの研究では、RE用にPLMを微調整する際に、追加のコンテキスト情報を取り入れると性能が向上することが報告されている。しかし、適用されるPLM、拡張に使用されるデータベース、ハイパーパラメータの最適化、および評価方法にはばらつきがあるため、研究間の直接比較は複雑であり、これらの知見の一般化可能性については疑問が残る。本研究では、4つの関係シナリオにまたがる5つのデータセットを一貫した評価フレームワークで評価することにより、コンテキスト情報で拡張されたPLMを評価することで、この研究ギャップに対処する。3つのベースラインPLMを評価し、まず大規模なハイパーパラメータの最適化を行う。最もパフォーマンスの高いモデルを選択した後、テキストによる実体記述、知識グラフからの関係情報、分子構造エンコーディングを含む追加データでそのモデルを強化する。我々の発見は、i)基礎となる言語モデルの選択と、ii)強力な抽出性能を達成するための包括的なハイパーパラメータ最適化の重要性を示している。コンテキスト情報を含めると、全体としてはわずかな改善しか得られないが、アブレーション研究により、微調整中にそのような外部データを含めると、小規模なPLMに大きな利点があることが明らかになった。

要約(オリジナル)

Automatic relationship extraction (RE) from biomedical literature is critical for managing the vast amount of scientific knowledge produced each year. In recent years, utilizing pre-trained language models (PLMs) has become the prevalent approach in RE. Several studies report improved performance when incorporating additional context information while fine-tuning PLMs for RE. However, variations in the PLMs applied, the databases used for augmentation, hyper-parameter optimization, and evaluation methods complicate direct comparisons between studies and raise questions about the generalizability of these findings. Our study addresses this research gap by evaluating PLMs enhanced with contextual information on five datasets spanning four relation scenarios within a consistent evaluation framework. We evaluate three baseline PLMs and first conduct extensive hyperparameter optimization. After selecting the top-performing model, we enhance it with additional data, including textual entity descriptions, relational information from knowledge graphs, and molecular structure encodings. Our findings illustrate the importance of i) the choice of the underlying language model and ii) a comprehensive hyperparameter optimization for achieving strong extraction performance. Although inclusion of context information yield only minor overall improvements, an ablation study reveals substantial benefits for smaller PLMs when such external data was included during fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL