From Knowledge Generation to Knowledge Verification: Examining the BioMedical Generative Capabilities of ChatGPT

要約

LLMモデルの生成能力は、それが生み出す知識の信頼性に対するタスクと懸念を加速する機会を提示します。
懸念に対処するために、LLMモデルが生成するように促された生物医学的知識の事実上の正確性を体系的に評価する計算アプローチを提示します。
私たちのアプローチには、疾患中心の関連性の生成と、生物医学的オントロジーの意味知識を使用したそれらの検証という2つのプロセスが含まれます。
CHATGPTをSelect LLMモデルとして使用して、疾患、薬物、症状、遺伝子間のリンクを生成するために、評価の根拠を確立するための一連の迅速なエンジニアリングプロセスを設計しました。
実験結果は、疾患の条件（88％-97％）、薬物名（90％-91％）、および遺伝情報（88％-98％）を特定する際の高い精度を示しています。
症状の識別精度は、DOID、CHEBI、症状に対して検証され、それに応じてオントロジーにGOになるように、特に低く（49％-61％）。
協会の検証により、疾患薬物および疾患遺伝子協会の間での文献カバレッジ率（89％-91％）が明らかになりました。
症状用語の識別精度が低いことは、症状関連の関連性の検証にも貢献しました（49％-62％）。

要約(オリジナル)

The generative capabilities of LLM models present opportunities in accelerating tasks and concerns with the authenticity of the knowledge it produces. To address the concerns, we present a computational approach that systematically evaluates the factual accuracy of biomedical knowledge that an LLM model has been prompted to generate. Our approach encompasses two processes: the generation of disease-centric associations and the verification of them using the semantic knowledge of the biomedical ontologies. Using ChatGPT as the select LLM model, we designed a set of prompt-engineering processes to generate linkages between diseases, drugs, symptoms, and genes to establish grounds for assessments. Experimental results demonstrate high accuracy in identifying disease terms (88%-97%), drug names (90%-91%), and genetic information (88%-98%). The symptom term identification accuracy was notably lower (49%-61%), as verified against the DOID, ChEBI, SYMPTOM, and GO ontologies accordingly. The verification of associations reveals literature coverage rates of (89%-91%) among disease-drug and disease-gene associations. The low identification accuracy for symptom terms also contributed to the verification of symptom-related associations (49%-62%).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google