Large Language Models, scientific knowledge and factuality: A systematic analysis in antibiotic discovery

要約

科学文献の大規模なコーパスに基づいてトレーニングされた大規模言語モデル (LLM) から情報を推論して抽出することは、生物医学研究の新時代を推進し、既存の医学的証拠にアクセスする障壁を下げる可能性があります。
この研究では、抗生物質発見の文脈を使用して、生物医学の背景知識と対話するための LLM の可能性を検討します。
体系的な分析は、化合物定義の生成と化合物という 2 つのプロンプトベースのタスクで、生物医学科学コーパスに特化したモデルから ChatGPT、GPT-4、Llama 2 などの一般的なモデルまで 10 の最先端モデルに適用されます。
-真菌関係の決定。
この研究では、これらの関係をエンコードして表現する LLM の能力について体系的な評価を提供し、生成された応答の流暢さ、プロンプト調整、意味論的一貫性、事実知識、および特異性を検証します。
結果は、最近のモデルの流暢性は向上しましたが、事実の正確性は依然として低く、モデルは過剰に表現されたエンティティに偏っていることを示しています。
LLM が生物医学知識ベースとして機能する能力には疑問があり、追加の体系的な評価フレームワークの必要性が強調されています。
最もパフォーマンスの高い GPT-4 は、化合物の 70% について事実に基づく定義を生成し、真菌との事実関係の 43.6% を生成しました。一方、最も優れたオープンソース モデルである BioGPT では、最もパフォーマンスの高いプロンプトの化合物の 30% と関係の 30% を生成しました。
。
その結果、LLM は現時点では生物医学の事実知識ベースとして使用する目的には適していないものの、モデルが領域に特化し、人間のフィードバックのサイズとレベルがスケールアップするにつれて、事実性の方向に有望な特性が出現していることが示されています。

要約(オリジナル)

Inferring over and extracting information from Large Language Models (LLMs) trained on a large corpus of scientific literature can potentially drive a new era in biomedical research, reducing the barriers for accessing existing medical evidence. This work examines the potential of LLMs for dialoguing with biomedical background knowledge, using the context of antibiotic discovery. The systematic analysis is applied to ten state-of-the-art models, from models specialised on biomedical scientific corpora to general models such as ChatGPT, GPT-4 and Llama 2 in two prompting-based tasks: chemical compound definition generation and chemical compound-fungus relation determination. The work provides a systematic assessment on the ability of LLMs to encode and express these relations, verifying for fluency, prompt-alignment, semantic coherence, factual knowledge and specificity of generated responses. Results show that while recent models have improved in fluency, factual accuracy is still low and models are biased towards over-represented entities. The ability of LLMs to serve as biomedical knowledge bases is questioned, and the need for additional systematic evaluation frameworks is highlighted. The best performing GPT-4 produced a factual definition for 70% of chemical compounds and 43.6% factual relations to fungi, whereas the best open source model BioGPT-large 30% of the compounds and 30% of the relations for the best-performing prompt. The results show that while LLMs are currently not fit for purpose to be used as biomedical factual knowledge bases, there is a promising emerging property in the direction of factuality as the models become domain specialised, scale-up in size and level of human feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google