MIRIAD: Augmenting LLMs with millions of medical query-response pairs

要約

LLMは、高度な意思決定サポートと柔軟なチャットアシスタントでヘルスケアを変革することになります。
ただし、LLMは不正確な医療含有量を生成する傾向があります。
高品質の医療知識においてLLMSを接地するために、LLMSはRAGを介して外部知識を備えています。ここでは、非構造化された医療知識が選択的に取得され、LLMSコンテキストに統合される小さなテキストチャンクに分割されます。
しかし、既存のRAGパイプラインは、LLMSが効果的に活用するのが騒々しく、未確認で困難な生の非構造化された医療テキストに依存しています。
LLMに最適に表面化するために医学的知識を整理するための体系的なアプローチは、一般的に不足しています。
これらの課題に対処するために、5,821,948の医療QAペアの大規模でキュレーションされたコーパスであるMiriadを紹介します。それぞれが、LLM生成、フィルタリング、接地、および人間の発生を組み合わせた半自動パイプラインを使用して、ピアレビューされた医学文献からの通路から言い換えられ、その通路に基づいています。
構造化されていないテキストに依存している以前の医療コーポラとは異なり、Miriadは、よりターゲットを絞った検索を可能にする運用上のクエリ応答形式でWebスケールの医療知識をカプセル化します。
挑戦的な医療QAベンチマークの実験は、MiriadでLLMを増強すると、同じソースコーパスと同じ量の検索テキストを持つ非構造化されたRAGベースラインと比較して、精度が最大6.7％向上することが示されています。
さらに、Miriadは、LLMSが医療幻覚を22.5〜37％検出する能力を改善しました（F1スコアの増加）。
さらに、56の医学分野にまたがるMiriadのインタラクティブな地図であるMiriad-Atlasを紹介し、臨床ユーザーが医学的知識を視覚的に探索、検索、および改良できるようにします。
Miriadは、医療情報レトリバー、強化されたRAGアプリケーション、知識根拠のあるチャットインターフェイスなど、豊富なダウンストリームアプリケーションのロックを解除することを約束します。

要約(オリジナル)

LLMs are bound to transform healthcare with advanced decision support and flexible chat assistants. However, LLMs are prone to generate inaccurate medical content. To ground LLMs in high-quality medical knowledge, LLMs have been equipped with external knowledge via RAG, where unstructured medical knowledge is split into small text chunks that can be selectively retrieved and integrated into the LLMs context. Yet, existing RAG pipelines rely on raw, unstructured medical text, which can be noisy, uncurated and difficult for LLMs to effectively leverage. Systematic approaches to organize medical knowledge to best surface it to LLMs are generally lacking. To address these challenges, we introduce MIRIAD, a large-scale, curated corpus of 5,821,948 medical QA pairs, each rephrased from and grounded in a passage from peer-reviewed medical literature using a semi-automated pipeline combining LLM generation, filtering, grounding, and human annotation. Unlike prior medical corpora, which rely on unstructured text, MIRIAD encapsulates web-scale medical knowledge in an operationalized query-response format, which enables more targeted retrieval. Experiments on challenging medical QA benchmarks show that augmenting LLMs with MIRIAD improves accuracy up to 6.7% compared to unstructured RAG baselines with the same source corpus and with the same amount of retrieved text. Moreover, MIRIAD improved the ability of LLMs to detect medical hallucinations by 22.5 to 37% (increase in F1 score). We further introduce MIRIAD-Atlas, an interactive map of MIRIAD spanning 56 medical disciplines, enabling clinical users to visually explore, search, and refine medical knowledge. MIRIAD promises to unlock a wealth of down-stream applications, including medical information retrievers, enhanced RAG applications, and knowledge-grounded chat interfaces, which ultimately enables more reliable LLM applications in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google