SkinGPT: A Dermatology Diagnostic System with Vision Large Language Model

要約

タイトル：SkinGPT：ビジョン大規模言語モデルのある皮膚科診断システム

要約：

– 皮膚疾患は、世界中の非致死疾患負荷の主要な原因の一つであり、人口の多くに影響を与えています。
– 皮膚科診断の分野には、3つの主要な課題があります。第一に、診断するための皮膚科医が不足しています。第二に、皮膚疾患の写真を正確に診断することは困難であることがあります。最後に、ユーザーフレンドリーな診断報告書を提供することは難しい場合があります。
– 大規模言語モデル（LLM）の最近の進歩は、臨床応用に潜在的な可能性を示していますが、現在のLLMは画像処理に苦労しており、ChatGPTのAPIを使用する場合にはプライバシー上の懸念があることがあります。
– この論文では、初めて高度なビジョンベースの大規模言語モデルを利用した皮膚科診断システムであるSkinGPTを提案しました。
– SkinGPTは、MiniGPT-4の微調整版を盛り込んだ初めてのシステムであり、診断のための内部の皮膚疾患画像の大量コレクションと医師のノートによるサポートを行っています。
– SkinGPTを使用すると、ユーザーは自分自身の皮膚写真を診断にアップロードすることができ、システムは自律的に皮膚疾患の特性やカテゴリーを判定し、分析を行い、治療の推奨を提供します。
– ローカルに展開でき、ユーザーのプライバシーを保護する能力により、SkinGPTは、皮膚疾患の正確で信頼性の高い診断を求める患者にとって魅力的なオプションです。

要約(オリジナル)

Skin and subcutaneous diseases are among the major causes of the nonfatal disease burden worldwide, affecting a significant proportion of the population. However, there are three major challenges in the field of dermatology diagnosis. Firstly, there is a shortage of dermatologists available to diagnose patients. Secondly, accurately diagnosing dermatological pictures can be challenging. Lastly, providing user-friendly diagnostic reports can be difficult. Recent advancements in the field of large language models (LLMs) have shown potential for clinical applications. However, current LLMs have difficulty processing images, and there are potential privacy concerns associated with using ChatGPT’s API for uploading data. In this paper, we propose SkinGPT, which is the first dermatology diagnostic system that utilizes an advanced vision-based large language model. SkinGPT is the first system of its kind, incorporating a fine-tuned version of MiniGPT-4 with a vast collection of in-house skin disease images, accompanied by doctor’s notes. With SkinGPT, users can upload their own skin photos for diagnosis, and the system can autonomously determine the characteristics and categories of skin conditions, perform analysis, and provide treatment recommendations. The ability to deploy it locally and protect user privacy makes SkinGPT an attractive option for patients seeking an accurate and reliable diagnosis of their skin conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI