Coarse-to-Fine Covid-19 Segmentation via Vision-Language Alignment

要約

COVID-19 病変のセグメンテーションは、医師が COVID-19 をより適切に診断および治療するのに役立ちます。
ただし、COVID-19 データセットには詳細な情報と高品質の注釈が不足しているため、関連する研究はほとんどありません。
上記の問題を解決するために、病変の数と画像情報の特定の位置を含むテキスト情報をマージするために、Vision-Language アライメントを介した Coarse-to-Fine セグメンテーション フレームワークである C2FVL を提案します。
テキスト情報の導入により、ネットワークは困難なデータセットでより良い予測結果を達成できます。
胸部 X 線と CT を含む 2 つの COVID-19 データセットに対して大規模な実験を行い、結果は、提案された方法が他の最先端のセグメンテーション方法よりも優れていることを示しています。

要約(オリジナル)

Segmentation of COVID-19 lesions can assist physicians in better diagnosis and treatment of COVID-19. However, there are few relevant studies due to the lack of detailed information and high-quality annotation in the COVID-19 dataset. To solve the above problem, we propose C2FVL, a Coarse-to-Fine segmentation framework via Vision-Language alignment to merge text information containing the number of lesions and specific locations of image information. The introduction of text information allows the network to achieve better prediction results on challenging datasets. We conduct extensive experiments on two COVID-19 datasets including chest X-ray and CT, and the results demonstrate that our proposed method outperforms other state-of-the-art segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google