ChatEXAONEPath: An Expert-level Multimodal Large Language Model for Histopathology Using Whole Slide Images

要約

最近の研究では、医療ドメインで大規模な言語モデル（LLM）の開発に大きな進歩があり、専門家レベルの質問に答え、現実世界の臨床シナリオで臨床医を支援する可能性を実証できます。
研究では、本質的に多面的に多面化された複雑な臨床コンテキストをよりよく理解するために、さまざまなモダリティを既存のLLMと統合することの重要性も目撃しています。
研究により、組織病理学におけるマルチモーダルLLMが与えられた画像からの質問に答える能力が実証されていますが、パブリックデータセットからの情報が限られているパッチレベルのデータにより、徹底的な臨床コンテキストの理解がありません。
したがって、WSIレベルのMLLMを開発することは、組織病理学におけるMLLMのスケーラビリティと適用性の観点から重要です。
この研究では、ChatexaOnePathと呼ばれるWSIを使用して、組織病理学の専門家レベルMLLMを紹介します。
10,094ペアのWSIとがんゲノムアトラス（TCGA）からの組織病理学レポートを使用して、検索ベースのデータ生成パイプラインを提示します。
また、与えられたマルチモーダル情報から医療コンテキストを包括的に理解するためのAIベースの評価プロトコルを紹介し、元の組織病理学レポートと比較して生成された回答を評価します。
ChatexaOnePathを使用して、1,134ペアのWSIおよびレポートから62.9％の受け入れ率を使用して、与えられた組織病理学画像を診断する能力を実証します。
提案されたモデルは、さまざまな癌タイプの汎癌性WSIと臨床的コンテキストを理解できます。
提案されたモデルは、複数のモダリティの統合を通じてがん診断のためのWSIの複雑な形態を包括的に理解することにより、臨床医を支援する可能性があると主張します。

要約(オリジナル)

Recent studies have made significant progress in developing large language models (LLMs) in the medical domain, which can answer expert-level questions and demonstrate the potential to assist clinicians in real-world clinical scenarios. Studies have also witnessed the importance of integrating various modalities with the existing LLMs for a better understanding of complex clinical contexts, which are innately multi-faceted by nature. Although studies have demonstrated the ability of multimodal LLMs in histopathology to answer questions from given images, they lack in understanding of thorough clinical context due to the patch-level data with limited information from public datasets. Thus, developing WSI-level MLLMs is significant in terms of the scalability and applicability of MLLMs in histopathology. In this study, we introduce an expert-level MLLM for histopathology using WSIs, dubbed as ChatEXAONEPath. We present a retrieval-based data generation pipeline using 10,094 pairs of WSIs and histopathology reports from The Cancer Genome Atlas (TCGA). We also showcase an AI-based evaluation protocol for a comprehensive understanding of the medical context from given multimodal information and evaluate generated answers compared to the original histopathology reports. We demonstrate the ability of diagnosing the given histopathology images using ChatEXAONEPath with the acceptance rate of 62.9% from 1,134 pairs of WSIs and reports. Our proposed model can understand pan-cancer WSIs and clinical context from various cancer types. We argue that our proposed model has the potential to assist clinicians by comprehensively understanding complex morphology of WSIs for cancer diagnosis through the integration of multiple modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google