Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking

要約

生物医学分野は、文献マイニング、グラフの配置、情報検索、質問応答、データ、知識の統合などのさまざまな分野で概念のリンクに大きく依存しています。
大規模言語モデル (LLM) は多くの自然言語処理タスクで大幅な進歩を遂げていますが、生物医学の概念マッピングにおけるその有効性はまだ十分に調査されていません。
この研究では、生物医学概念のリンクのために大規模モデルのインコンテキスト学習 (ICL) 機能を活用する方法を調査します。
提案されたアプローチは、2 段階の取得とランク付けのフレームワークを採用しています。
最初に、言語モデルを使用して生物医学の概念が埋め込まれ、次に埋め込まれた類似性を利用して上位の候補を取得します。
これらの候補者のコンテキスト情報はその後プロンプトに組み込まれ、大規模な言語モデルによって処理されて概念が再ランク付けされます。
このアプローチは、BC5CDR 疾患エンティティの正規化で 90.%、化学エンティティの正規化で 94.7% の精度を達成し、教師あり学習方法と比較して優れたパフォーマンスを示しました。
さらに、腫瘍学一致データセットの F1 スコアの絶対値が 20 ポイント以上増加するなど、大幅な改善が見られました。
広範な定性的評価が実施され、生物医学分野で大規模な言語モデルを使用する利点と潜在的な欠点が議論されました。
について議論されました。

要約(オリジナル)

The biomedical field relies heavily on concept linking in various areas such as literature mining, graph alignment, information retrieval, question-answering, data, and knowledge integration. Although large language models (LLMs) have made significant strides in many natural language processing tasks, their effectiveness in biomedical concept mapping is yet to be fully explored. This research investigates a method that exploits the in-context learning (ICL) capabilities of large models for biomedical concept linking. The proposed approach adopts a two-stage retrieve-and-rank framework. Initially, biomedical concepts are embedded using language models, and then embedding similarity is utilized to retrieve the top candidates. These candidates’ contextual information is subsequently incorporated into the prompt and processed by a large language model to re-rank the concepts. This approach achieved an accuracy of 90.% in BC5CDR disease entity normalization and 94.7% in chemical entity normalization, exhibiting a competitive performance relative to supervised learning methods. Further, it showed a significant improvement, with an over 20-point absolute increase in F1 score on an oncology matching dataset. Extensive qualitative assessments were conducted, and the benefits and potential shortcomings of using large language models within the biomedical domain were discussed. were discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google