Enhancing Adverse Drug Event Detection with Multimodal Dataset: Corpus Creation and Model Development

要約

薬物有害事象（ADE）のマイニングはファーマコビジランスにおいて極めて重要であり、薬剤に関連する潜在的なリスクを特定することで患者の安全性を高め、有害事象の早期検出を促進し、規制上の意思決定を導きます。
従来の ADE 検出方法は信頼性は高いですが時間がかかり、大規模な運用に容易に適応できず、提供される情報も限られています。
ソーシャル メディア コンテンツ、生物医学文献、電子医療記録 (EMR) などのデータ ソースが急激に増加しているため、これらの非構造化テキストから関連する ADE 関連情報を抽出することが不可欠です。
これまでの ADE マイニング研究はテキストベースの方法論に焦点を当てており、視覚的な手がかりを見落とし、文脈の理解を制限し、正確な解釈を妨げていました。
このギャップに対処するために、ADE 関連のテキスト情報と視覚補助を組み合わせた、マルチモーダル薬物有害事象 (MMADE) 検出データセットを提示します。
さらに、ADE を描写する医療画像の詳細な説明を生成することで ADE 検出に LLM と VLM の機能を活用するフレームワークを導入し、医療専門家が有害事象を視覚的に特定できるように支援します。
MMADE データセットを使用して、画像からの視覚的な手がかりを統合して全体的なパフォーマンスを向上させることの重要性を示します。
このアプローチは、患者の安全性、ADE の認識、医療へのアクセスのしやすさを約束し、個別化された医療のさらなる探求への道を開きます。

要約(オリジナル)

The mining of adverse drug events (ADEs) is pivotal in pharmacovigilance, enhancing patient safety by identifying potential risks associated with medications, facilitating early detection of adverse events, and guiding regulatory decision-making. Traditional ADE detection methods are reliable but slow, not easily adaptable to large-scale operations, and offer limited information. With the exponential increase in data sources like social media content, biomedical literature, and Electronic Medical Records (EMR), extracting relevant ADE-related information from these unstructured texts is imperative. Previous ADE mining studies have focused on text-based methodologies, overlooking visual cues, limiting contextual comprehension, and hindering accurate interpretation. To address this gap, we present a MultiModal Adverse Drug Event (MMADE) detection dataset, merging ADE-related textual information with visual aids. Additionally, we introduce a framework that leverages the capabilities of LLMs and VLMs for ADE detection by generating detailed descriptions of medical images depicting ADEs, aiding healthcare professionals in visually identifying adverse events. Using our MMADE dataset, we showcase the significance of integrating visual cues from images to enhance overall performance. This approach holds promise for patient safety, ADE awareness, and healthcare accessibility, paving the way for further exploration in personalized healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google