Exploring the Role of Knowledge Graph-Based RAG in Japanese Medical Question Answering with Small-Scale LLMs

要約

大規模な言語モデル（LLM）は医療QAでうまく機能しますが、日本の文脈での有効性は、臨床設定でGPT-4のような商用モデルの使用を妨げるプライバシーの制約のために制限されています。
その結果、最近の取り組みは、命令調整のオープンソースLLMSに焦点を当てていますが、それらを検索された生成（RAG）と組み合わせる可能性は未定です。
このギャップを埋めるために、私たちは日本の医療QA小規模オープンソースLLMの知識グラフベース（KG）RAGフレームワークを最初に探索しました。
実験結果は、KGベースのRAGが小規模のオープンソースLLMを使用した日本の医療QAに限られた影響しかないことを示しています。
さらなるケーススタディにより、RAGの有効性は、外部取得コンテンツの品質と関連性に敏感であることが明らかになりました。
これらの調査結果は、日本の医療QAにRAGを適用するという課題と可能性に対する貴重な洞察を提供すると同時に、他の低資源言語の参照としても機能します。

要約(オリジナル)

Large language models (LLMs) perform well in medical QA, but their effectiveness in Japanese contexts is limited due to privacy constraints that prevent the use of commercial models like GPT-4 in clinical settings. As a result, recent efforts focus on instruction-tuning open-source LLMs, though the potential of combining them with retrieval-augmented generation (RAG) remains underexplored. To bridge this gap, we are the first to explore a knowledge graph-based (KG) RAG framework for Japanese medical QA small-scale open-source LLMs. Experimental results show that KG-based RAG has only a limited impact on Japanese medical QA using small-scale open-source LLMs. Further case studies reveal that the effectiveness of the RAG is sensitive to the quality and relevance of the external retrieved content. These findings offer valuable insights into the challenges and potential of applying RAG in Japanese medical QA, while also serving as a reference for other low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google