X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation

要約

人間が医療画像とそのコンテキストを分析する上で重要な要素は、新たに見たものを記憶内の関連するインスタンスに関連付ける能力です。
この論文では、マルチモーダル検索拡張を使用してこの機能を模倣し、胸部 X 線分析のいくつかのタスクに適用します。
類似の画像や放射線レポートを取得することで、事実に関する知識の一貫性を維持しながら、追加の知識で手元の症例を拡張および正規化します。
メソッドは 2 つのコンポーネントで構成されます。
まず、事前トレーニング済みの CLIP モデルを使用して、ビジョンと言語のモダリティを調整します。
検索の焦点が全体的な視覚的外観ではなく詳細な疾患関連のコンテンツになるようにするために、疾患クラス情報を使用して微調整されます。
その後、最先端の検索レベルに達するノンパラメトリック検索インデックスを構築します。
ダウンストリーム タスクでこのインデックスを使用して、疾患の分類とレポート検索のためのマルチヘッド アテンションを通じて画像表現を増強します。
検索の増強により、これらのタスクが大幅に改善されることを示します。
私たちの下流のレポート検索は、専用のレポート生成方法と競合することさえ示しており、医用画像におけるこの方法への道を開きます。

要約(オリジナル)

An important component of human analysis of medical images and their context is the ability to relate newly seen things to related instances in our memory. In this paper we mimic this ability by using multi-modal retrieval augmentation and apply it to several tasks in chest X-ray analysis. By retrieving similar images and/or radiology reports we expand and regularize the case at hand with additional knowledge, while maintaining factual knowledge consistency. The method consists of two components. First, vision and language modalities are aligned using a pre-trained CLIP model. To enforce that the retrieval focus will be on detailed disease-related content instead of global visual appearance it is fine-tuned using disease class information. Subsequently, we construct a non-parametric retrieval index, which reaches state-of-the-art retrieval levels. We use this index in our downstream tasks to augment image representations through multi-head attention for disease classification and report retrieval. We show that retrieval augmentation gives considerable improvements on these tasks. Our downstream report retrieval even shows to be competitive with dedicated report generation methods, paving the path for this method in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google