A Two-Step Concept-Based Approach for Enhanced Interpretability and Trust in Skin Lesion Diagnosis

要約

臨床現場での深層学習ベースのシステムの導入を妨げる主な課題は、注釈付きデータの不足と、これらのシステムの解釈可能性と信頼性の欠如です。
コンセプト ボトルネック モデル (CBM) は、人間が理解できる一連の概念に基づいて最終的な疾患予測を制約することにより、固有の解釈可能性を提供します。
ただし、この固有の解釈可能性には、アノテーションの負担が大きくなるという代償が伴います。
さらに、新しい概念を追加するには、システム全体を再トレーニングする必要があります。
この研究では、これらの課題の両方に対処する新しい 2 段階の方法論を導入します。
CBM の 2 つの段階をシミュレートすることにより、事前トレーニング済みの視覚言語モデル (VLM) を利用して臨床概念を自動的に予測し、大規模言語モデル (LLM) を利用して予測された概念に基づいて疾患診断を生成します。
私たちは 3 つの皮膚病変データセットでアプローチを検証し、トレーニングを必要とせず、注釈付きの少数の例のみを利用して、従来の CBM や最先端の​​説明可能な手法よりも優れていることを実証しました。
コードは https://github.com/CristianoPatricio/2-step-concept-based-skin-diagnosis で入手できます。

要約(オリジナル)

The main challenges hindering the adoption of deep learning-based systems in clinical settings are the scarcity of annotated data and the lack of interpretability and trust in these systems. Concept Bottleneck Models (CBMs) offer inherent interpretability by constraining the final disease prediction on a set of human-understandable concepts. However, this inherent interpretability comes at the cost of greater annotation burden. Additionally, adding new concepts requires retraining the entire system. In this work, we introduce a novel two-step methodology that addresses both of these challenges. By simulating the two stages of a CBM, we utilize a pretrained Vision Language Model (VLM) to automatically predict clinical concepts, and a Large Language Model (LLM) to generate disease diagnoses based on the predicted concepts. We validate our approach on three skin lesion datasets, demonstrating that it outperforms traditional CBMs and state-of-the-art explainable methods, all without requiring any training and utilizing only a few annotated examples. The code is available at https://github.com/CristianoPatricio/2-step-concept-based-skin-diagnosis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google