K-Diag: Knowledge-enhanced Disease Diagnosis in Radiographic Imaging

要約

この論文では、病気の診断の問題を考えます。
ラベルを個別に扱う従来の学習パラダイムとは異なり、医療分野の知識のガイダンスで視覚的表現をトレーニングできる知識強化フレームワークを提案します。
特に、私たちは次の貢献をします。まず、専門家の知識を明示的に組み込むために、対照学習を介して医学知識グラフのニューラル表現を学習し、異なる医学概念間の関係を暗黙的に確立することを提案します。
次に、ビジュアル エンコーダーをトレーニングしている間、知識エンコーダーのパラメーターを固定したままにし、効率的な適応のためにプロンプ​​ト ベクトルのセットを学習することを提案します。
第 3 に、モデル間の融合に Transformer ベースの疾患クエリ モジュールを採用しています。これにより、クロス アテンションによって説明可能な診断結果が自然に得られます。
提案されたフレームワークの有効性を検証するために、さまざまな解剖学的構造にわたる3つのX線イメージングデータセットで徹底的な実験を行い、モデルが疾患/所見間の暗黙の関係を利用できることを示し、したがって、一般的に遭遇する問題に有益です
従来の方法では実現に苦労するか、完全に失敗する医療領域、つまり、ロングテールおよびゼロショット認識。

要約(オリジナル)

In this paper, we consider the problem of disease diagnosis. Unlike the conventional learning paradigm that treats labels independently, we propose a knowledge-enhanced framework, that enables training visual representation with the guidance of medical domain knowledge. In particular, we make the following contributions: First, to explicitly incorporate experts’ knowledge, we propose to learn a neural representation for the medical knowledge graph via contrastive learning, implicitly establishing relations between different medical concepts. Second, while training the visual encoder, we keep the parameters of the knowledge encoder frozen and propose to learn a set of prompt vectors for efficient adaptation. Third, we adopt a Transformer-based disease-query module for cross-model fusion, which naturally enables explainable diagnosis results via cross attention. To validate the effectiveness of our proposed framework, we conduct thorough experiments on three x-ray imaging datasets across different anatomy structures, showing our model is able to exploit the implicit relations between diseases/findings, thus is beneficial to the commonly encountered problem in the medical domain, namely, long-tailed and zero-shot recognition, which conventional methods either struggle or completely fail to realize.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google