Two-Layer Retrieval-Augmented Generation Framework for Low-Resource Medical Question Answering Using Reddit Data: Proof-of-Concept Study

要約

物質使用の実際の経験を共有するためにソーシャルメディアの使用が増加していることは、新規の向精神性物質に関する副作用、使用パターン、意見に関する情報を入手するまたとない機会をもたらしています。
ただし、データが大量にあるため、大規模な言語モデルなどの自然言語処理テクノロジーを通じて有用な洞察を得るのは困難です。
この論文は、ソーシャルメディア上でユーザーが生成した医療情報を使用して、健康関連のトピックに関連する新たな問題に関する臨床医の質問に関連する医療質問応答のための検索拡張生成 (RAG) アーキテクチャを開発することを目的としています。
私たちは、クエリに焦点を当てた回答生成のための 2 層 RAG フレームワークを提案し、新たな医薬品関連情報に焦点を当て、ソーシャル メディア フォーラムからのクエリに焦点を当てた概要生成のコンテキストでフレームワークの概念実証を評価しました。
当社のモジュール式フレームワークは、ユーザーが生成した大量のソーシャル メディア データから医療上の質問に効率的に答えるために、個別の概要を生成し、その後に集約された概要を生成します。
低リソース設定でデプロイ可能な量子化された大規模言語モデル (Nous-Hermes-2-7B-DPO) のパフォーマンスを GPT-4 と比較しました。
この概念実証研究では、キシラジンとケタミンの使用に関する臨床医の質問に答えるために、Reddit からユーザーが生成したデータを使用しました。
当社のフレームワークは、GPT-4 および Nous-Hermes-2-7B-DPO を使用して評価し、76 個のサンプルを含む 20 のクエリについて評価した場合、関連性、長さ、幻覚、カバレッジ、一貫性の点で同等の中央値スコアを達成しました。
対象範囲、一貫性、関連性、長さ、幻覚に関しては、両者の間に統計的に有意な差はありませんでした。
Coleman-Liau 指数では統計的に有意な差が認められました。
当社の RAG フレームワークは、対象を絞ったトピックに関する医学的な質問に効果的に答えることができ、リソースに制約のある環境でも導入できます。

要約(オリジナル)

The increasing use of social media to share lived and living experiences of substance use presents a unique opportunity to obtain information on side effects, use patterns, and opinions on novel psychoactive substances. However, due to the large volume of data, obtaining useful insights through natural language processing technologies such as large language models is challenging. This paper aims to develop a retrieval-augmented generation (RAG) architecture for medical question answering pertaining to clinicians’ queries on emerging issues associated with health-related topics, using user-generated medical information on social media. We proposed a two-layer RAG framework for query-focused answer generation and evaluated a proof of concept for the framework in the context of query-focused summary generation from social media forums, focusing on emerging drug-related information. Our modular framework generates individual summaries followed by an aggregated summary to answer medical queries from large amounts of user-generated social media data in an efficient manner. We compared the performance of a quantized large language model (Nous-Hermes-2-7B-DPO), deployable in low-resource settings, with GPT-4. For this proof-of-concept study, we used user-generated data from Reddit to answer clinicians’ questions on the use of xylazine and ketamine. Our framework achieves comparable median scores in terms of relevance, length, hallucination, coverage, and coherence when evaluated using GPT-4 and Nous-Hermes-2-7B-DPO, evaluated for 20 queries with 76 samples. There was no statistically significant difference between the two for coverage, coherence, relevance, length, and hallucination. A statistically significant difference was noted for the Coleman-Liau Index. Our RAG framework can effectively answer medical questions about targeted topics and can be deployed in resource-constrained settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google