CLIP-Lung: Textual Knowledge-Guided Lung Nodule Malignancy Prediction

要約

タイトル：CLIP-Lung：テキストナレッジガイド付き肺結節悪性予測
要約：

– 深層学習の技術と効果的なトリックにより、肺結節悪性予測は向上している
– 現在の方法は、1つのホットカテゴリラベルを使用してクロスエントロピー損失で主に訓練されているため、進行ラベルが近接したノードルを区別することが困難になっている
– 放射線科医によって注釈付けられた臨床的なテキスト情報は、難しいサンプルを識別するための識別的な知識を提供してくれる
– 文字アノテーションから一般化された視覚表現を学習するために、対照語言-画像事前トレーニング（CLIP）モデルの能力に着目して、本研究では、クロスエントロピー損失を使用して1つのホットカテゴリラベルを使用して肺結節を予測する現在の方法に代わるテキスト知識に基づいたラベルの支援に注目したフレームワークCLIP-Lungを提案する。
– CLIP-Lungは、クラスと属性の両方の注釈を、推論に追加のオーバーヘッドなしで肺結節分類器のトレーニングに導入する
– CCP（チャンネルワイズ条件付きプロンプト）モジュールを設計して、可学習なコンテキストプロンプトと特定のフィーチャマップの一貫した関係を確立する
– 対照学習を介して、画像の特徴をクラスと属性の両方の特徴と整列させ、潜在空間の誤検出と偽陰性を矯正する。
– LIDC-IDRIデータセット上の実験結果は、CLIP-Lungの分類性能と注目マップの解釈可能性の双方において、優越性を示している。

要約(オリジナル)

Lung nodule malignancy prediction has been enhanced by advanced deep-learning techniques and effective tricks. Nevertheless, current methods are mainly trained with cross-entropy loss using one-hot categorical labels, which results in difficulty in distinguishing those nodules with closer progression labels. Interestingly, we observe that clinical text information annotated by radiologists provides us with discriminative knowledge to identify challenging samples. Drawing on the capability of the contrastive language-image pre-training (CLIP) model to learn generalized visual representations from text annotations, in this paper, we propose CLIP-Lung, a textual knowledge-guided framework for lung nodule malignancy prediction. First, CLIP-Lung introduces both class and attribute annotations into the training of the lung nodule classifier without any additional overheads in inference. Second, we designed a channel-wise conditional prompt (CCP) module to establish consistent relationships between learnable context prompts and specific feature maps. Third, we align image features with both class and attribute features via contrastive learning, rectifying false positives and false negatives in latent space. The experimental results on the benchmark LIDC-IDRI dataset have demonstrated the superiority of CLIP-Lung, both in classification performance and interpretability of attention maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI