ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models

要約

大規模言語モデル (LLM) は最近、臨床応用におけるその可能性を実証し、貴重な医学的知識とアドバイスを提供しています。
たとえば、ChatGPT のような大規模ダイアログ LLM は、米国の医療ライセンス試験の一部に合格しています。
ただし、LLM は現在、画像の処理が困難であり、臨床上の意思決定をサポートする情報が豊富な医用画像から情報を解釈することが困難になっています。
一方、医療画像用のコンピューター支援診断 (CAD) ネットワークは、高度な深層学習アルゴリズムを使用して臨床上の意思決定をサポートすることにより、医療分野で大きな成功を収めています。
この論文では、LLM を医用画像 CAD ネットワークに統合する方法について説明します。
提案されたフレームワークは、LLM を使用して、自然言語テキスト形式で提示された情報を要約および再編成することにより、診断ネットワーク、病変セグメンテーション ネットワーク、レポート生成ネットワークなどの複数の CAD ネットワークの出力を強化します。
目標は、LLM の医療分野の知識と論理的推論の強みを、既存の医用画像 CAD モデルの視覚理解能力と融合させて、従来の CAD システムと比較して、患者にとってよりユーザーフレンドリーで理解しやすいシステムを作成することです。
将来的には、LLM の医療知識を使用して、視覚ベースの医用画像 CAD モデルのパフォーマンスを向上させることもできます。

要約(オリジナル)

Large language models (LLMs) have recently demonstrated their potential in clinical applications, providing valuable medical knowledge and advice. For example, a large dialog LLM like ChatGPT has successfully passed part of the US medical licensing exam. However, LLMs currently have difficulty processing images, making it challenging to interpret information from medical images, which are rich in information that supports clinical decisions. On the other hand, computer-aided diagnosis (CAD) networks for medical images have seen significant success in the medical field by using advanced deep-learning algorithms to support clinical decision-making. This paper presents a method for integrating LLMs into medical-image CAD networks. The proposed framework uses LLMs to enhance the output of multiple CAD networks, such as diagnosis networks, lesion segmentation networks, and report generation networks, by summarizing and reorganizing the information presented in natural language text format. The goal is to merge the strengths of LLMs’ medical domain knowledge and logical reasoning with the vision understanding capability of existing medical-image CAD models to create a more user-friendly and understandable system for patients compared to conventional CAD systems. In the future, LLM’s medical knowledge can be also used to improve the performance of vision-based medical-image CAD models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google